Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 解决:移动hive/lib下的hive-common-3.1.3.jar包到sqoop。Sqoop从HDFS导入Hive 运行报错解决记录。
flume两种简单功能配置 flume两种简单功能配置示例1实现功能(1)编写配置文件(2)启动Flume Agent(3)测试示例2实现功能(1)修改配置文件(2)启动Flume Agent(3)测试(4)查看结果前提:flume已成功安装且已正确配置相应的环境变量示例1实现功能实现功能:监控指定目录,当目录有新的日志文件产生时,把日志一行一行打印到控制台。(1)编写配置文件创建和修改配置文件。cd /opt/module/apache-flume-1.8.0-bin/confvi agent1.conf
大数据基础知识复习 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、大数据要具备哪些特征?二、大数据批处理的常见组件有哪些?1. HDFS(Hadoop Distributed File System)2. MapReduce3. YARN4.Hive5.Pig6.Spark7.FlumeFlume8.Sqoop9.Hbase三、什么是大数据四、hadoop之父是谁?五、基础选择六、简述Hadoop的特点七、Hadoop生态圈组件有哪些?简述各组件的功能八、列举Hadoop HDFS 的组件,.