Hadoop
Hadoop相关
月月大王
如果做不到每天进步一点,那么就每周进步一点。
展开
-
Hbase使用CopyTable进行数据复制和迁移
最近有一个需求,是将Hbase表中的数据复制到另一张表中,因为Hbase的数据比较多,通过java程序读出来然后再向数据库中插入的话,是不太现实了,只能寻找另外的工具,搜了一下原来Hbase自身就提供了相应的组件,那就是 CopyTable。简单的记录一下使用过程1、创建两张表create 'test01' ,'name'create 'test02' ,'name'2、向表中插入数据put 'test01' , '001','name:n' ,'xiaomin...原创 2022-02-25 17:26:51 · 3829 阅读 · 0 评论 -
SparkStreaming——在RDD中查询redis
问题描述:在读取kafka数据时需要从redis查询出来上一条数据和当前数据进行计算。解决步骤:1.进入依赖<!-- https://mvnrepository.com/artifact/com.redislabs/spark-redis --> <dependency> <groupId>com.redislabs</groupId> <artifactId>spark-redis</artifactId&原创 2022-01-05 15:25:27 · 1514 阅读 · 0 评论 -
CDH-Flume从Kafka同步数据到hive
启动Flume命令flume-ng agent -n a -c /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/flume-ng/conf/ -f ./kafka2hiveTest.conf -Dflume.root.logger=INFO,consolehive建表 语句#分桶开启事务并分区create table log_test(ip string,username string,request_url strin原创 2021-12-16 15:20:18 · 2330 阅读 · 0 评论 -
Hive报错处理
报错FAILED: SemanticException [Error 10265]: This command is not allowed on an ACID table test.log_test with a non-ACID transaction manager. Failed command: select * from log_test解决办法SET hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;原创 2021-12-16 09:20:04 · 2064 阅读 · 0 评论 -
Hive执行异常org.apache.hadoop.hdfs.BlockMissingException
Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-2040810143-192.168.144.145-1612269795515:blk_1077591653_3851069 file=/hbase/data/default/cycle_middle_data/c4cc4a321e4779c75d810ba0698079c3/info/395d0f3895cf407b88921f9cbc8原创 2021-10-26 13:56:27 · 2674 阅读 · 0 评论 -
Java实现Kafka消费者和生产者
今天来记录一下使用Java实现Kafka的消费者和生产者。原创 2021-08-19 17:08:27 · 489 阅读 · 0 评论 -
Hive——简单操作
控制台显示当前使用的数据库set hive.cli.print.current.db=true;原创 2021-02-24 17:40:41 · 236 阅读 · 0 评论 -
spark——简单操作
启动作业spark-submit --master yarn --deploy-mode cluster --executor-memory 512m --class 主类包.类名xxx.jar结束作业yarn application -list(查看作业)yarn application -kill application_1612682499072_0004(结束作业)...原创 2021-02-08 10:58:09 · 185 阅读 · 0 评论 -
hdfs——简单操作
来记录一些hdfs命令#将test.txt文件上传到hdfs的根路径下hdfs dfs -put test.txt /#显示目录内容hdfs dfs -ls /#显示文件内容hdfs dfs -cat /test.txthdfs dfs -text /test.txt#下载到本地hdfs dfs -get /test.txt#创建文件夹hdfs dfs -mkdir /test#移动hdfs中的文件hdfs dfs -mv /test.txt /tes.原创 2020-12-22 18:59:00 · 728 阅读 · 0 评论 -
Hbase——简单操作
统计数据条数hbase org.apache.hadoop.hbase.mapreduce.RowCounter '表名'原创 2020-10-09 09:15:58 · 184 阅读 · 0 评论 -
kafka——简单操作
创建队列kafka-topics --bootstrap-server hadoop001:9092,hadoop002:9092,hadoop003:9092,hadoop004:9092 --create --topic kafka-protocolLog20 --partitions 20 --replication-factor 1查询队列信息kafka-consumer-groups --bootstrap-server hadoop001:9092,hadoop002:9092,ha原创 2020-11-16 13:36:19 · 265 阅读 · 0 评论