Linux
qq_44982182
这个作者很懒,什么都没留下…
展开
-
Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035
问题描述:Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035大数据集群在搭建的时候,格式化之后,运行典型的例子是可以的,但是为什么会出现这个问题呢,是因为yarn管理的内存资源不够了,在分配给MR作业运行的时候,jvm获得的运行内存低下,因此会卡着。计算:每个hadoop守护进程使用1000MB内存,因此需要2000MB内存来运行一个datanode和一个节点管理器,另外,还要为运行在本机上的其他进程保留足够内原创 2020-06-29 18:28:17 · 2833 阅读 · 2 评论 -
华为云部署zeppelin-0.8.2安装成功,浏览器连接不上访问
zeppelin安装成功,浏览器连接不上访问,原因一,用以下确定了其状态是安装成功的#zeppelin-daemon.sh statusZeppelin is running [ OK ]但是在浏览器访问使用IP+端口号的时候不能访问,原因二确认端口号有没有占用,比如8080端口lsof -i:8080如果占用用户可以zeppelin-site.xml这个配置文件注意:zeppelin-0.8.2版本不能原创 2020-06-10 21:47:53 · 608 阅读 · 0 评论 -
Flume1.9的安装
1.上传 apache-flume-1.9.0-bin.tar.gz2.解压[hadoop@master apps]$ tar -zxvf apache-flume-1.9.0-bin.tar.gz3.配置环境变量#vi ~/.bashrcexport FLUME_HOME=/home/hadoop/apps/apache-flume-1.9.0-binexport PATH=$PATH:$FLUME_HOME/bin#使变量设置生效#source ~/.bashrc4.修改配置文件原创 2020-06-08 17:14:22 · 763 阅读 · 0 评论 -
centos下完全卸载mysql
centos下完全卸载mysql1.新开的云服务器,需要检测系统是否自带安装mysql# yum list installed | grep mysqlyum方式安装的mysql1、yum remove mysql mysql-server mysql-libs compat-mysql51 2、rm -rf /var/lib/mysql 3、rm /etc/my.cnf #记得cd /etc下删除my.cnf这个配置文件查看是否还有mysql软件:rpm -qa|grep mysql如果存原创 2020-05-29 10:13:37 · 230 阅读 · 0 评论 -
禁用防火墙
禁用防火墙及SELinux1.在安装集群或者其他应用时,需要与部署集群主机通信,因此特定的端口必须打开。最简单的实现方式是执行下面的命令禁用防火墙:2.禁用SELinux插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FL...原创 2019-06-25 10:20:17 · 567 阅读 · 0 评论 -
centos6.X 如何ping通访问外网
如果我们需要虚拟机访问外网,那么我们需要修改dns服务器,使用以下命令加入几行:vim /etc/resolv.conf加入域名dns设置:nameserver 你想要访问的服务器IPnameserver 8.8.8.8nameserver 8.8.4.4nameserver 114.114.114.0如下图所示这样就可以ping通了,用ping www.baidu.com...原创 2019-06-25 10:46:15 · 839 阅读 · 1 评论 -
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR
sqoop 从mysql导出数据到hive,出现下面错误:19/07/19 09:27:54 INFO hive.HiveImport: Loading uploaded data into Hive19/07/19 09:27:54 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make...原创 2019-07-19 22:01:25 · 456 阅读 · 0 评论