学习大数据遇到的问题(bug)
小马的学习笔记
这个作者很懒,什么都没留下…
展开
-
学习hadoop遇到的问题(记一次阿里云服务器被恶意挂木马,CPU100%)
在我刚开始学习时,把防火墙,安全组都开放了,过了一段时间被挂上了木马。并且杀死进程一会还启动解决办法1通过命令netstat -antlp|grep 9002查看端口文件地址,删除可以文件(java文件夹)2.还得在安全组中关闭hadoop一些对外开放的web页面(可以改变端口号)3.在/etc/crontab、/var/spool/cron/、/var/spool/cron/cr...原创 2018-12-26 16:04:20 · 738 阅读 · 0 评论 -
学习hadoop遇到的问题(hadoop namenode -format 格式化失败及解决方案)
1. 使用命令hadoop namenode -format 对namenode进行格式化,报错如下所示:[hadoop@bj05-ops-photo04 bin]$ ./hadoop namenode -formatDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the h...转载 2019-03-07 16:37:12 · 13594 阅读 · 1 评论 -
学习hadoop遇到的问题(File***could only be replicated to 0 nodes instead of minReplication (=1))
1、集群部署完成之后,测试上传文件至hdfs时,报出 File /user/hdfs_test.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1)的异常信息。[hadoop@abcd08 chx]$ hadoop fs -put hdfs_test.txt /user14/11/3...转载 2019-03-08 10:11:00 · 10271 阅读 · 3 评论 -
学习hadoop遇到的问题(phoenix报Caused by: org.apache.hadoop.hbase.TableNotFoundException: SYSTEM.CATALOG)
先关闭hbase在执行hbase clean --cleanZk清楚hbase以前的数据信息我的报错是因为使用phoenix-5.0版本降级为4.0版本造成的原创 2019-03-16 15:40:02 · 5293 阅读 · 1 评论 -
学习hadoop遇到的问题(hdfs的namenode的HA模式的同步问题)
1.启动JournalNode第一次格式化HDFS的过程中,HA会journalnode通讯,所以需要先把三个节点的journalnode启动。在node1节点上执行hadoop-daemons.sh start journalnode[root@node1 ~]# hadoop-daemons.sh start journalnodenode1: starting journal...转载 2019-03-08 11:29:19 · 3736 阅读 · 0 评论 -
学习hadoop遇到的问题(添加kafka服务)
CDH的parcel包中是没有kafka的,kafka被剥离了出来,需要从新下载parcel包安装。或者在线安装,但是在线安装都很慢,这里使用下载parcel包离线安装的方式。PS:kafka有很多版本,CDH也有很多版本,那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍,文档地址:https://www.cloudera.com/documentation/ente...转载 2019-04-10 16:12:56 · 313 阅读 · 0 评论 -
学习hadoop遇到的问题(部署CDH5.9.1遇到的问题)
问题1错误提示:cloudera-scm-agent 已死,但 pid 文件仍存解决办法:[root@node1 ~]# cd /var/run/[root@node1 run]# rm -rf cloudera-scm-agent.pid 问题2错误提示:error: No socket could be created on (‘node1’, 9000) – ...转载 2019-04-10 16:57:42 · 1664 阅读 · 0 评论 -
学习hadoop遇到的问题(phoenix for cdh5.9 搭建以及注意点)
参考文档 https://www.cnblogs.com/zlslch/p/7096402.html集群节点 三个mini1,mini2,mini31,下载phoenix for CDH下载位置,我下载的是目前phoenix对应的cdh最高版本5.9,但是我用的是CDH最高版本5.13(目前最高版本。测试5.13,生产上用的是CDH5.11)https://github.com/chi...转载 2019-04-11 09:56:27 · 317 阅读 · 0 评论 -
学习hadoop遇到的问题(linux ssh 非root用户免密码登录)
ssh-keygen –t rsa然后一路按回车键,最后在将id_rsa.pub写到authorized_keys,命令如下:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys在hadoop用户下,需要给authorized_keys赋予600的权限,不然免密码登陆无效。在其他节点只需要使用ssh-keygen –t rsa...转载 2019-04-09 09:51:24 · 1164 阅读 · 0 评论 -
学习hadoop遇到的问题(记录一次storm启动报错)
启动报错 “wike。。。。”原因(在其他没错的情况下):1、没有创建String zkRoot = "/kafkaspout_offest";String id = "message_log";在zk中实行create /kafkaspout_offestmessage_log2.版本不兼容...原创 2019-04-12 17:29:02 · 196 阅读 · 0 评论 -
学习hadoop遇到的问题(linux中的rsyslog日志的转发)
https://www.cnblogs.com/smail-bao/p/8603263.htmlhttps://www.cnblogs.com/zhanmeiliang/p/7479501.htmlhttps://blog.51cto.com/ityunwei2017/1934910原创 2019-04-16 13:40:52 · 227 阅读 · 0 评论 -
学习hadoop遇到的问题(flume-kafka报错)
org.apache.kafka.common.errors.InterruptException: Flush interrupted. at org.apache.kafka.clients.producer.KafkaProducer.flush(KafkaProducer.java:546) at org.apache.flume.sink.kafka.KafkaSink.proce...原创 2019-04-16 15:16:51 · 2387 阅读 · 0 评论 -
学习hadoop遇到的问题(关于hive动态分区问题,当strom自动往hive表对应的文件下写数据时,在hive中查询不到数据,得修复一下)
分区表分区表实际就是对应hdfs文件系统上的的独立的文件夹,该文件是夹下是该分区所有数据文件。分区可以理解为分类,通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段,可以一个,也可以多个。分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段,就会全部扫描。在查询是通过where子句查询来指定所需的分区。样例create external table ...转载 2019-04-24 11:32:50 · 2488 阅读 · 2 评论 -
学习hadoop遇到的问题(hbase整合Phoenix报'hbase.procedure.store.wal.use.hsync')
从hadoop到hbase的环境搭建一切正常,可直接参照网上教程,这里不累述。这里记录一下我在配置phoenix连接hbase的时候遇到的问题。直观的看是HMaster先能启动,过一会又自动挂掉。日志错误信息如下:ERROR [master/YSL-MASTER:16000] master.HMaster: Failed to become active masterjava.lan...转载 2019-03-08 18:07:38 · 1744 阅读 · 0 评论 -
学习hadoop遇到的问题(hive整合phoenix及注意问题)
测试环境:phoenix4.14.1 hbase1.1.1 hive2.3.3 hadoop2.7.2(由于不是通过CDH/Ambari搭建,所以会出现组件的兼容性问题)聊一聊为什么要使用hive映射phoenix? 将数据存储Phoenix,本质是HBase提供的SQL。用于前端的查询,要求RT在秒级以内。phoenix作为hbase二级索引的最佳组合,测试过上百万级别的数据构...转载 2019-03-08 17:23:42 · 1477 阅读 · 0 评论 -
学习hadoop遇到的问题(在线测试kafka集群时遇到的kafka不消费问题)
到目前为止,我们一直在与一个经纪人竞争,但这并不好玩。对于Kafka来说,单个代理只是一个大小为1的集群,因此除了启动一些代理实例之外没有太多变化。但是为了感受它,让我们将我们的集群扩展到三个节点(仍然在我们的本地机器上)。首先,我们为每个代理创建一个配置文件(在Windows上使用copy命令代替): 1 2 > cp config/server...原创 2019-02-13 14:03:06 · 386 阅读 · 0 评论 -
学习hadoop遇到的问题(CentOS7下解决yum install mysql-server 异常:No package mysql-server available.问题)
yum安装mysql-server没有可用包问题解决方法:step 1: wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm(rpm -ivh https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm)step 2: rpm...原创 2018-12-27 19:41:55 · 256 阅读 · 0 评论 -
学习hadoop遇到的问题(linux完全卸载mariadb)
1、卸载mariadb:yum remove mariadb 2、删除配置文件:rm -f /etc/my.cnf 3、删除数据目录:rm -rf /var/lib/mysql/原创 2018-12-27 20:18:20 · 1667 阅读 · 0 评论 -
学习hadoop遇到的问题(安装mysql时,密码找不到)
使用yum install mysql-server安装mysql去/var/log/mysqld.log文件中查找密码,service mysql start 开启mysql如果密码找不到,则设置/etc/my.cnf文件,添加 这是设置免密码登录进入mysqlmysql -u root -p选择数据库:use mysql;修改密码:UPDATE user S...原创 2018-12-28 15:15:15 · 1124 阅读 · 0 评论 -
学习hadoop遇到的问题(阿里服务器设置swap虚拟内存)
一,创建交换区 swap1,增加4G 大小的 swapdd if=/dev/zero of=/var/swapfile bs=1024 count=4096000if是指input file,of是output file。dev/zero是linux的一种输入设备,用来创建用于初始化的空文件,如临时交换文件,可以提供任何你需要的数目。 bs指 block size ,单位数据块bloc...原创 2019-01-03 16:50:33 · 884 阅读 · 0 评论 -
学习hadoop遇到的问题(Sqoop 2,遇到Field 'CREATE_TIME' doesn't have a default value)
在MySQL 5.0.2之后对数据输入进行了强制性的加严处理,并且保留了以前的MySQL对非法或不当值并不严厉的行为,MySQL默认是对数据进行加严处理,但你可以为不良值选择更传统的处理方法,从而使得服务器能够拒绝并放弃出现不良值的语句。 MYSQL安装目录--->搜索打开my.ini,查找 sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE...原创 2019-01-04 10:23:12 · 4687 阅读 · 0 评论 -
学习hadoop遇到的问题(sqoop2报org.codehaus.jackson.map.JsonMappingException)
这是CDH本身的bug解决办法:cd /opt/cloudera/parcels/CDH/lib/hadoop/clientsudo ln -s ../../hadoop-hdfs/lib/jackson-mapper-asl-1.8.8.jarsudo ln -s ../../hadoop-hdfs/lib/jackson-core-asl-1.8.8.jar在重新启动sq...原创 2019-01-11 18:44:51 · 538 阅读 · 0 评论 -
学习hadoop遇到的问题(安装hive遇到的问题)
转自https://blog.csdn.net/duyuanhai/article/details/775402881,通过Cloudera Manager添加Hive服务,在启动Hive的时候遇到错误:.org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver这种情况,猜测是缺少jdbc驱动,于...转载 2019-01-02 17:30:26 · 558 阅读 · 0 评论 -
学习hadoop遇到的问题(hdfs权限问题,ls: Permission denied: user=root, access=READ_EXECUTE, inode="/user/spark":)
1.在CDH页面中添加超级用户2.手动给用户授权对CDH用户:对于文件夹/user,注意,这个文件夹的拥有者不是所谓的“root”。实际上,这个文件夹为“hdfs”所有(755权限,这里将hdfs理解为一个属于supergroup的用户)。 所以,只有hdfs可以对文件夹进行写操作。与Unix/Linux不同,hdfs是超级使用者(superuser),而不是root。 ...原创 2019-01-14 16:25:10 · 7651 阅读 · 0 评论 -
学习hadoop遇到的问题(CDH5.12.1的hue的load balance红色警报,无法启动 )
解决方法:yum -y install httpdyum -y install mod_ssl原创 2019-01-09 14:22:10 · 510 阅读 · 1 评论 -
学习hadoop遇到的问题(在CDH中安装kafka+zookeeper时,消费端不消费,一直卡着)
经过查看是配置文件的问题,需要配置如下图 出现这种错误是对kafka的配置不熟悉造成官网地址:http://kafka.apachecn.org/documentation.html#gettingStartedkafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --part...原创 2019-01-31 18:02:01 · 1236 阅读 · 0 评论 -
学习hadoop遇到的问题(添加防火墙白名单)
1.编辑系统文件vim /etc/sysconfig/iptables2.进入编辑页面后,增加如下内容:-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT //8080表示要开放的端口号3.保存后退出,重启网卡服务service iptables restart转自:https://w...转载 2019-02-12 16:02:37 · 590 阅读 · 0 评论 -
学习hadoop遇到的问题(在安装hbase集群遇到的问题)
一遇到防火墙端口不开放问题1.检查防火墙白名单中端口是否开放 二File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1).1.先把zk的hbase删除2.还有hdfs里的hbase删除3.删除设置的tmp文件夹下的文件 ...原创 2019-02-12 17:00:54 · 671 阅读 · 0 评论 -
学习hadoop遇到的问题(当kafka集群中的topic的数据过大的时,清除时需要注意的问题)
1.在kafka集群中的topic存储旧数据总量过大时,要使用./kafka-topics.sh --zookeeper node1:2181 --delete --topic log4oa命令删除(特别注意:如果手动删除的话,要把涉及到kafka集群的topic的信息全部删除,例如storm整合kafka,zk中的topic的信息删除,否则会有问题)2.在删除kafka集群的topic时...原创 2019-09-29 15:20:55 · 2171 阅读 · 0 评论