- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark提交jar包流程，spark-stream
拉取代码 https://github.com/wencl/spark_stream_kafka.gitmvn clean package运行spark2-submit --class “org.jrj.wen.spark_stream_kafka.Application” target/spark_stream_kafka-0.0.1-SNAPSHOT.jar由于本人已经安装好cdh...
2019-09-19 11:08:22
376
原创 spark的操作
scala> import org.apache.spark.sql.SparkSessionscala> val sparkSession = SparkSession.builder.appName(“spark session example”).enableHiveSupport().getOrCreate()scala> val catalog = sparkSes...
2019-09-17 11:03:35
161
原创 mysql到hbase的迁移
环境cdh51.进入/opt/cloudera/parcels/CDH/jars运行sudo -u oozie hadoop fs -put -f ./* /user/oozie/share/lib/lib_20190730094906/sqoop/这一步是把cdh里面的包放到sqoop的classpath下。不然的话会报hbase的jar包在classpath中找不到2.进入HUE新建...
2019-09-09 13:28:28
200
原创 CDH的sqoop2，hue，oozie集成
压缩所有cdh的jar包操作： jar cv0f cdh-libs.jar -C /opt/cloudera/parcels/CDH/jars/ . 上传到hdfssudo -u hue hadoop fs -put cdh-libs.jar /user/hue/ 上传mysql驱动到hdfssudo -u hue hdfs dfs -put mysql-connecto...
2019-09-05 11:40:03
660
原创 cdh随笔
把root设置成hdfs的超级用户操作步骤如下：1、在Linux执行如下命令增加supergroupgroupadd supergroup2、如将用户yarn增加到supergroup中，再执行：usermod -a -G supergroup yarn3、同步系统的权限信息到HDFS：su - hdfs -s /bin/bash -c “hdfs dfsadmin -refresh...
2019-08-30 16:14:34
124
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人