- 博客(7)
- 收藏
- 关注
RSS订阅原创 JavaSpark模板
SparkSession sc = SparkSession .builder() .master("local[*]") .appName("testjob") .getOrCreate(); JavaSparkContext scs = new JavaSparkContext(sc.sparkContext()); JavaRD
2022-02-24 14:25:08
522
原创 SparkSql 采集数据 入库Hive Parquet表 关键部分代码
SparkSession scs = SparkSession. builder().appName("getGbaseWriteHiveJob") .master("local[*]") .enableHiveSupport() .getOrCreate(); JavaSparkContex
2022-02-14 17:52:19
1041
原创 CDH Hue错误
在hue上配置Mysql的时候，出现的错误： 发生服务器错误： Error loading MySQLdb module: libmysqlclient.so.18: cannot open shared object file: No such file or directory 问题原因： 这个错误出现的原因是找不到 libmysqlclient.so.18 这个文件，根本原因是，一般我们使用的mysql都是自己从新安装的，不是系统自带的，所以在我们安装我们自己的mysql的时候
2022-02-14 17:30:17
305
原创 CDH6.3.1搭建(完全离线搭建不需要外网)
集群环境配置(至少3台机器 配置server节点16G起步 agent节点4G起步 server节点内存过小会导致机器在启动该进程的时候机器卡死)1.所有节点配置host文件:echo “192.168.15.151 cm1”>> /etc/hostsecho “192.168.15.152 cm2”>> /etc/hostsecho “192.168.15.153 cm3”>> /etc/hosts2.关闭防火墙清空清空防护墙规则(根据企业网络安全需要可以
2022-01-19 14:23:21
1741
原创 JavaSpark bulkLoader批量写Hbase
配置相关代码:String htb_demo1 = “demo1”; //Hbase集群配置信息 Configuration hconf = HBaseConfiguration.create(); hconf.set("fs.defaultFS","hdfs://s1:9000"); hconf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem"); hconf.set("hbase.
2021-12-09 18:32:48
1260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人