- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sqoop写入parquet文件
sqoop import -D mapred.job.queue.name=ittest "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \ --connect "jdbc:oracle:thin:@10.1.*:1521:*" \ --username "*" \ --password "*" \ --query "select * from table where \$CONDITIONS" \ --hcatalog-database t.
2021-01-04 10:54:23
342
原创 sparkstreaming任务监控脚本（参考用）
spark_main.sh #! /bin/bash while read appName do sh /home/mes/report/script/spark/spark_crontab/spark_monitor.sh ${appName} echo ${appName} done < /home/mes/report/script/spark/spark_crontab/spark_app_name.txt spark_monitor.sh #! /bin/bash..
2020-08-25 15:34:05
374
原创 kafka+sparkstreaming+hive参考案例
参考谁的也忘了，就当个案例看看吧。 package mes.test.com.main import com.alibaba.fastjson.{JSON, JSONObject} import mes.hikcision.com.utils.PropUtil import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.rdd.RDD import org.apache.spark.s.
2020-08-25 14:47:10
529
原创 sparkstreaming2.2保存offset使用checkpoint、kafka(1.0.1)、redis三种方式案例
1、测试代码，使用三种方法保存kafka的offset（未优化版） package kafka.comsumer import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession imp...
2019-08-27 10:43:35
1573
hbase的api，后台操作及代码操作
2019-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人