- 博客(9)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Spark单机配置
接上篇：hadoop单机配置1、配置scala 1)添加环境变量 vi /etc/profile export CLASS_HOME=/usr/jdk-11.0.10+9/lib2、配置spark 1)添加环境变量 export SPARK_HOME=/usr/spark-3.2.0-bin-hadoop3.2-scala2.13 export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/...
2022-03-14 23:43:47
3355
原创 Kafka单机配置
测试版本号2.13 版本不同命令会有少许差异1、下载并kafka解压到指定目录 tar -zxvf ./kafka_2.13-3.0.0.tgz2、kafka需安装zookeeper使用，但kafka集成zookeeper，在单机搭建时可直接使用 1)创建zookeeper目录 mkdir /usr/local/kafka/zookeeper 2)创建zookeeper日志目录 mkdir -p /usr/local/kafka/log/zoo...
2022-03-14 23:42:11
3590
原创 Hadoop单机配置
hadoop单机配置记录1、配置环境 1)VMware虚拟机，centos7最小化安装2、centos最小化安装默认不开启网络 1)开启网络 命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 #版本不同最后文件名略有不同 修改最后一行ONBOOT=yes 2)重启网络服务 命令：service network restart 3)查看ip 命令：ip add 3、开启ssh服务...
2022-03-14 23:39:00
5074
原创 Hbase映射hive表的方式
Hbase映射hive表使用HSQL创建一个指向Hbase表的Hive表两种创建表方式分别如下：区别，主要看数据在hbase下还是在hive下。1．如果Hbase表已经存在,可以创建外部表，代码如下：Create external table hive_table_name(key string,Col_name1 string ,Col_name2 string ) STORED...
2019-12-02 21:23:22
345
原创 Pyspark以DataFrame格式读写Hbase
Pyspark以DataFrame格式读写Hbase本文代码参考了__miss的博客，特别感谢，原文地址如下链接:https://blog.csdn.net/u011412768/article/details/93404921我使用的环境：CDH集群，资源监控使用的yarn, spark2.3，hbase1.6 。读写方式：Hbase默认API 默认环境大家都已配置好。代码可以...
2019-11-11 21:20:41
1900
1
原创 Pandas处理企业微信接口中的嵌套JSON
本段代码是用于Python获取企业微信中通讯录的数据，顺便尝试下使用Pandas处理JSON数据，及嵌套JSON的处理方式。 # --*-- coding:utf-8 --*--import requestsimport pandas as pdimport numpy as npimport json""" 功能：获取企业微信部门信息及员工信息"""def g...
2019-11-11 16:53:04
433
转载 python中的正则表达式（re模块)
python中的正则表达式（re模块)https://www.cnblogs.com/tina-python/p/5508402.html
2018-01-23 23:05:20
182
转载 sys.argv[]的用法简明解释
获取外部参数，记录下，以免遗忘https://www.cnblogs.com/aland-1415/p/6613449.html
2018-01-23 22:34:26
5459
spark-examples_2.11-1.6.0-typesafe-001.jar
2019-11-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人