- 博客(15)
- 收藏
- 关注
RSS订阅
原创 Hive,Flume,Sqoop,Hbase,Kafka,Azkaban的知识点总结
Hive1.为什么要使用Hive?2.Hive的介绍3.Hive的三种运行模式(理论)4.Hive的三种运行模式的搭建5.hive的ddl,dml,文件格式6.Hive的架构图7.文件格式8.数据类型:hive和mysql的区别9.事务理论10.创建表支持事务11.创建表的所有方法12.分区的操作13.导入和导出14.查询语句(对比mysql查询来操作)15.窗口函数,特殊的查询:Grouping set,Grouping__ID,Groupp.
2020-07-31 19:33:07
466
原创 idea的快捷键
main方法：psvmsysout输出语句：soutget,set方法：Alt+insert增强for循环：iter导包：Alt+回车try/catch :Ctrl +Alt + T格式化：Ctrl+Alt+Larray-for : itarcollection迭代：itcoiterator迭代：ititlist遍历：itli最近编译器列表：Ctrl + e当前文件结构：Ctrl+F12参数信息：Ctrl+p自动定义变量：Ctrl+Alt+V结构图：Ctrl+H..
2020-07-31 17:31:40
124
原创 hive连接hbase
创建hive中写入hbase有关的表：hive> CREATE TABLE hbase_table_4(key int, value string) > -- 死格式,存储的时候使用下面的类 > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' > -- hbase的键和值与hive表的对应关系;自动对应列的关系;第一列对应第一列;cf1:(列族) > WITH SE
2020-07-29 16:35:54
236
原创 hbase常用命令：
hbase中结尾没有符号，退出用’’(单引号)创建命名空间：create_namespace ‘空间名’创建表：hbase(main):016:0> create 'Test:p2','cf'Created table Test:p2Took 1.2919 seconds => Hbase::Table - Test:p2在这里插入代码片描述表：.
2020-07-29 14:47:55
433
原创 hive的内部表外部表
内部表已删全删hdfs和hive都没有，外部表在hdfs上还有在hive中没有。hive>describe psn_4;OKid int name string age smallint ..
2020-07-28 16:42:19
375
原创 用sqoop把hdfs传到mysql报错：ERROR mapreduce.ExportJobBase: Export job failed! 2020-07-21 20:38:06,879 ERROR
用sqoop把hdfs传到mysql报错2020-07-21 20:37:36,781 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1595291661620_00092020-07-21 20:37:36,781 INFO mapreduce.JobSubmitter: Executing with tokens: []2020-07-21 20:37:37,301 INFO conf.Configuration: re.
2020-07-21 20:55:39
1844
7
原创 Sqoop的下载与安装：
Sqoop的下载地址：http://mirrors.aliyun.com/apache/sqoop/官网地址：http://sqoop.apache.org/装的：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz改配置文件:sqoop.sh里面的HADOOP_HOME=/data/hadoop/hadoop 在server/lib下面添加mysql的jar包:mysql-connector-java-8.0.13.jar hadoop的目录：(hadoop\ha.
2020-07-18 16:33:26
4648
原创 hive连接flume的报错信息2：INFO - org.apache.hadoop.hdfs.protocol.datatransfer.sasl.SaslDataTransferClient.ch
2020-07-16 20:52:53,838 (Thread-18) [INFO - org.apache.hadoop.hdfs.protocol.datatransfer.sasl.SaslDataTransferClient.checkTrustAndSend(SaslDataTransferClient.java:239)] SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false20...
2020-07-16 21:27:02
943
原创 flume和hive链接报错:
2020-07-16 19:55:38,039 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:150)] Failed to start agent because dependencies were not found .
2020-07-16 20:29:22
399
原创 flume连接hive时报错：
写入文件时报错：2020-07-16 16:46:02,405 (agent-shutdown-hook) [WARN - org.apache.flume.sink.hdfs.BucketWriter.doClose(BucketWriter.java:462)] failed to rename() file (hdfs://node7-3:8020/flume/2020-07-16//event.1594889152796.txt.tmp). Exception follows.java.net.
2020-07-16 19:35:54
365
原创 报错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(mes
解决：1.在hbase中创建namespace2.hive要起：node7-2,3客户端,4服务器端，都起
2020-07-15 09:47:03
1079
原创 hbase基本操作
搭建好hbase,它主要管缓存进入hbase:[root@node7-3 hbase]# bin/hbase shell2020-07-13 21:39:21,244 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableHBase ShellUse "hel..
2020-07-13 21:53:36
331
原创 hive导入文件
导入文件：目录电脑上创txt文件； txt文件拉到浏览器； hive输入sql通过浏览器进入hive中可以查询；创建一个文件;(文件名随便起);如:data.txt1,aa,20,80,2019-01-17 15:45:002,bb,21,90,2019-01-17 15:45:003,cc,24,70,2019-01-18 15:45:004,dd,20,82,2019-01-10 15:45:005,ee,22,81,2019-01-20 15:45:006,gg,2.
2020-07-11 20:24:41
194
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人