大数据
文章平均质量分 51
Rocky000000
加油,致最好的年华!!!
展开
-
kafka查看topic和消息内容命令
【代码】kafka查看topic和消息内容命令。原创 2022-12-20 17:00:23 · 9119 阅读 · 0 评论 -
ElasticSearch 获取es信息以及索引操作
检查集群的健康情况GET /_cat/health?vhttp://192.168.47.101:9200/_cat/health?v创建索引PUT /test_index{ "settings" : { "number_of_shards" : 1, "number_of_replicas" : 1 }}test_index 表示索引的名称number_of_shards 表示分片数number_of_replicas 表示副本数查看索引GE原创 2021-07-05 10:40:28 · 772 阅读 · 0 评论 -
Elasticsearch 报错-org.elasticsearch.discovery.MasterNotDiscoveredException: null
报错如下所示:[2019-05-28T23:16:19,548][WARN ][r.suppressed ] [elasticsearch-01] path: /_cat/health, params: {pretty=, v=}org.elasticsearch.discovery.MasterNotDiscoveredException: null at org.elasticsearch.action.support.master.TransportMasterNodeA原创 2021-02-25 13:46:52 · 4363 阅读 · 0 评论 -
ES配置参数详解(一)
cluster.name#集群名,自定义集群名,默认为elasticsearch,建议修改,因为低版本多播模式下同一网段下相同集群名会自动加入同一集群,如生产环境这样易造成数据运维紊乱。node.name节点名,同一集群下要求每个节点的节点名不一致,起到区分节点和辨认节点作用node.master是否为主节点,选项为true或false,当为true时在集群启动时该节点为主节点,在宕机或任务挂掉之后会选举新的主节点,恢复后该节点依然为主节点node.data是否处理数据,选项为true或fal原创 2021-04-09 09:05:41 · 2540 阅读 · 1 评论 -
关于Zookeeper不得不说的事
在说完全分布式模式之前,必须重点提一下Zookeeper。虽然Zookeeper不是HBase的组成部分,但它却是其不可或缺的依赖组建。你必须完全理解Zookeeper在HBase中的作用和地位,才能避免在接下来的操作中带来的问题。首先你需要知道:HBase自带了一个Zookeeper,而且会默认启动自已的Zookeeper。Zookeeper进程的名字:如果HBase用的是自已的Zookeeper,那你在jps中看到的Zookeeper名字是HQuorumPeer。如果使用的是外部的Zookeepe原创 2021-03-25 11:44:01 · 519 阅读 · 0 评论 -
hive update和delete报错Attempt to do update or delete using transaction manager
而在默认情况下,当用户如果使用update和delete操作时,会出现如下情况:hive> select * from userdb.student;OK1009 991001 zhangsan1002 lisi1003 wangwu1004 liliu1005 mengmeng1008 chengchengTime taken: 0.522 seconds, Fetched: 7 row(s)hive> delete from userdb.student where原创 2020-07-29 16:47:13 · 5428 阅读 · 0 评论 -
基于Docker的Hadoop集群安装
前情回顾之前在搭建大数据集群的时候,一直使用的是VMware虚拟机中直接搭建集群,这样的操作需要考虑到硬件设备的综合性能。今天为大家介绍一下如何使用Docker容器中安装Hadoop集群,接下来将会为大家详细的介绍搭建的方法以及需要注意的事项。一、准备环境1. 安装Dockersudo apt-get install docker2.准备Hadoop的压缩包在这里直接将我之前使用的t...原创 2019-12-01 15:56:33 · 447 阅读 · 0 评论 -
监控flume神器之Ganglia
今天在部署Flume配置的时候,为了满足更直观的展示出效果,特地学习安装了Ganglia,接下来就详细的为大家介绍一下整个操作流程及部署过程中所遇到的问题。安装httpd服务与php yum -y install httpd php安装其他依赖yum -y install rrdtool perl-rrdtool rrdtool-develyum -y install apr-deve...原创 2019-11-25 11:13:50 · 319 阅读 · 1 评论 -
zookeeper集群部署 启动后报错ZooKeeper JMX enabled by default...
部署Zookeeper集群1.解压文件[admin@admin01 modules]$ tar -zxvf zookeeper-3.4.5.tar.gz 2.修改文件配置信息[admin@admin01 conf]$ pwd/home/admin/opt/softwares/zookeeper-3.4.5/conf[admin@admin01 conf]$ 在路径/home/ad...原创 2019-10-22 19:10:27 · 3252 阅读 · 0 评论 -
KafKa的知识点总结
类JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者主动拉取数据。原创 2018-11-30 18:54:43 · 179 阅读 · 0 评论 -
MapReduce运行报Does not contain a valid host:port authority: VM_0_9_centos:35697 异常
在使用命令 bin/start-all.sh 时,本以为会正常启动所有的服务,但是使用jps查看信息的时候并没有显示进程启动成功,然后去查看日志信息,发现报出以下异常错误信息:2018-11-12 22:15:34,727 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.l...原创 2018-11-30 18:53:31 · 939 阅读 · 0 评论 -
azkaban的安装部署及运行时出现的问题
azkaban介绍 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,...原创 2018-11-30 18:55:28 · 1965 阅读 · 0 评论 -
YUM 安装 Mysql
1、配置YUM源在MySQL官网中下载YUM源rpm安装包:http://dev.mysql.com/downloads/repo/yum/# 下载mysql源安装包[root@Rocky ~]# wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm# 安装mysql源[root@Rocky ...转载 2018-11-15 11:52:02 · 356 阅读 · 1 评论 -
安装Mysql遇到的问题: libaio.so.1()(64bit) is needed by MySQL ***
在本地安装mysql的时候出现下面这样的报错信息[root@Rocky mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm error: Failed dependencies: libaio.so.1()(64bit) is needed by MySQL-server-5.6.24-1.el6.x86_64 libaio...原创 2018-11-15 11:51:27 · 3494 阅读 · 1 评论 -
hive的多窗口测试错误检测
今天在测试hive的多窗口的启动时,竟然出现了以下的错误信息:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient ...原创 2018-11-15 11:50:39 · 418 阅读 · 3 评论 -
CentOS 7.0关闭默认防火墙启用iptables防火墙
操作系统环境:CentOS Linux release 7.0.1406(Core) 64位CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙步骤。1、关闭firewall:systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewa...转载 2018-11-14 21:44:51 · 330 阅读 · 0 评论 -
Spark技术架构,概念及运行过程
Spark分布式内存计算平台采用的是Master-Slave架构,集群中含有Master进程的节点ClusterManager即为这里的Master,而Slave则是集群中的Work进程节点。Master作为整个集群的控制器,负责整个集群的正常运行,Worker则相当于是计算节点,接收主节点的命令,运行Driver或Excutor,并进行状态汇报;Executor运行在Worker节点。...转载 2018-12-02 20:04:59 · 1072 阅读 · 0 评论 -
Linux下如何查看版本信息
Linux下如何查看版本信息, 包括位数、版本信息以及CPU内核信息、CPU具体型号等等,整个CPU信息一目了然。1、# uname -a (Linux查看版本当前操作系统内核信息)[hadoop@admin01 ~]$ uname -aLinux admin01 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_...原创 2018-11-14 21:17:38 · 7236 阅读 · 4 评论 -
2018年大数经典面试题以及回答技巧,你看过几个?
第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法, 比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大 的几个)及相应的...转载 2018-11-11 10:13:05 · 624 阅读 · 0 评论 -
stopping hbasecat: /tmp/hbase-hadoop-master.pid: No such file or directory
hbase停止集群时,报错如下:[hadoop@admin01 hbase-1.3.1]$ bin/stop-hbase.sh stopping hbasecat: /tmp/hbase-hadoop-master.pid: No such file or directory造成上述错误的原因是,默认情况下hbase的pid文件保存在/tmp目录下,/tmp目录下的文件很容易丢失,所以造成...原创 2018-11-07 23:05:26 · 6751 阅读 · 0 评论 -
程序员面试必备技能之JVM(一)
一、JVM简介JVM英文全称:Java Virtual Machine(Java虚拟机)虚拟机:通过软件来模拟出来的具有完整的硬件系统功能的、运行在完全隔离的环境中的完整的计算机系统。例如:在人工的草原养殖场模拟真实的草原环境,你们家里的小池塘模拟真实的海洋环境。JVM世界观:java对象在jvm里的生老病死。JVM一样也是通过在实际的计算机中软件虚构出来的,用来模拟一套完整的运行平台。Ja...原创 2018-11-11 00:13:29 · 290 阅读 · 0 评论 -
-bash: ssh: command not found的解决办法
最小化安装的问题.[root@admin01 .ssh]# ssh admin01-bash: ssh: command not found解决方法:yum -y install openssh-clients原创 2018-11-02 17:54:01 · 13391 阅读 · 0 评论 -
解决Wine安装时提示You could try running: rpm -Va –nofiles –nodigest问题(二)
原文地址:http://461205160.blog.51cto.com/274918/1739231最近想在美国VPS上装个Wine可是在执行yum install wine时却遇到了意想不到的错误系统提示:You could try using –skip-broken to work around the problemYou could try running: rpm -Va ...转载 2018-11-02 17:43:49 · 1965 阅读 · 0 评论 -
You could try using --skip-broken to work around the problem问题
经常在yum update的时候遇到类似与这样的问题:Error: Package: ***************************** Requires: ****************************** Removing: xxxxxxxxxxx.x86_64 (@rpmforge) ****** Updated By: *******-***...原创 2018-11-02 17:41:51 · 11016 阅读 · 2 评论 -
redis连接时报错:Could not connect to Redis at 192.168.1.21:6379: Connection refused
brew install redis 安装好redis用terminal连接redis查看状态时时出现错误:[root@admin2 bin]# redis-cli -h 192.168.1.21 info ReplicationCould not connect to Redis at 192.168.1.21:6379: Connection refused但是查看127.0.0...原创 2018-11-09 17:43:34 · 24427 阅读 · 5 评论 -
spark启动slave时提示 JAVA_HOME is not set
出现的问题如下所示:admin01: failed to launch: nice -n 0 /home/hadoop/modules/spark-2.1.1-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://admin01:7077admin01: J...原创 2018-12-01 12:26:19 · 1635 阅读 · 0 评论 -
Spark连接master报Connection refused: no further information:
错误信息如下所示:[hadoop@admin01 spark-2.1.1-bin-hadoop2.7]$ bin/spark-shell \> --master spark://admin01:7077 \> --executor-memory 2g \> --total-executor-cores 2Setting default log level to "WAR...原创 2018-12-01 13:31:26 · 3496 阅读 · 0 评论 -
HBase 企业级性能优化
1.修改Linux最大文件数Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行查看: ulimit -a 结果:open files (-n) 1024临时修改: ulimit -n 4096持久修改:vi /etc/security/limits.conf在文...转载 2018-12-03 21:19:00 · 446 阅读 · 0 评论 -
Zookeeper启动失败:java.net.BindException: Address already in use
查看日志信息如下所示:[ipaas@admin01 bin]$ ./zkServer.sh start-foregroundZooKeeper JMX enabled by defaultUsing config: /home/ipaas/zookeeper/zookeeper-3.4.11/bin/../conf/zoo.cfgSLF4J: Class path contains mu...原创 2019-10-08 08:57:35 · 2986 阅读 · 1 评论 -
Docker的安装及Hadoop分布式的部署
使用docker搭建部署hadoop分布式集群在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。一:环境准备:1:首先要有一个Centos7操作系统,可以在虚拟机中安装。a、root账户登录,查看内核版本[root@admin01 ~]# uname -aLinux admin01 3.10.0-862.el7.x86_64 #1 ...原创 2019-12-23 14:37:02 · 566 阅读 · 0 评论 -
Linux 下 you need to be root to perform this command
在linux 终端执行某条命令时提示一下错误you need to be root to perform this command是提示要获取root权限输入su 回车输入密码[admin@admin01 ~]$ yum install sshLoaded plugins: fastestmirror, langpacksYou need to be root to perform...原创 2019-09-17 12:09:09 · 1288 阅读 · 0 评论 -
部署ElasticSearch集群启动失败
今天一直在尝试部署启动ElasticSearch集群,但是在启动的时候一直处于报错的状态信息。鉴于之前部署的单节点ElasticSearch能够启动成功,所以排除了安装包的问题。如下所示的报错信息:[2019-08-28T10:21:08,743][ERROR][i.n.u.c.D.rejectedExecution] Failed to submit a listener notificat...原创 2019-09-02 09:41:01 · 8432 阅读 · 0 评论 -
ES启动后报Killed
在正常部署的ElasticSearch集群中,刚开始启动正常运行,但是在安装完插件之后集群启动开始报一致的错误信息:[admin@admin01 elasticsearch-5.2.2]$ bin/elasticsearch[2019-08-27T23:22:03,892][INFO ][o.e.n.Node ] [admin01] initializing ......原创 2019-09-01 17:01:23 · 1989 阅读 · 2 评论 -
ElasticSearch的安装部署
需要注意的是,ElasticSearch需要使用的是普通用户去执行,root用户对其没有启动权限。在此,部署的是单节点的应用。1.安装包的下载Elasticsearch官网: https://www.elastic.co/products/elasticsearch2. 解压1)解压elasticsearch-5.2.2.tar.gz到/opt/module目录下[rocky@admin...原创 2019-08-27 16:53:37 · 196 阅读 · 0 评论 -
安装ES出现“Unsupported major.minor version 52.0”报错信息
今天下午,在新配置的虚拟机中采用普通用户对elsaticsearch进行安装的时候,在使用命令bin/elasticsearch对其进行启动的时候,出现下述所示的报错信息:[admin@admin04 elasticsearch-5.2.2]$ bin/elasticsearchException in thread "main" java.lang.UnsupportedClassVersi...原创 2019-08-29 11:04:50 · 962 阅读 · 0 评论 -
ElasticSearch里JAVA环境丢失的问题
CentOsS在配置ElasticSearch时,出现了java环境缺失的问题(我这里用的是1.8的版本)。具体地,启动ES服务时候sudo -s /bin/bash -c "bin/elasticsearch" elastic找到你elasticsearch执行的目录,一般是/etc/init...原创 2019-09-09 10:01:12 · 1069 阅读 · 0 评论 -
关于Centos7中安装MySQL冲突和问题解决小结
今天在CentOS7上安装MySQL其所用到的命令如下所示:[root@admin installtions]# unzip mysql-libs.zip Archive: mysql-libs.zip creating: mysql-libs/ inflating: mysql-libs/MySQL-client-5.6.24-1.el6.x86_64.rpm infla...原创 2019-10-31 16:12:50 · 791 阅读 · 0 评论 -
hive 查询表,返回数据全是null
hive 查询表,返回数据全是null的情形分为以下几种:方式一:hive> show tables;OKstudentTime taken: 0.052 seconds, Fetched: 1 row(s)hive> create table student1(id int,name string) ROW FORMAT DELIMITED FIELDS TERMINA...转载 2019-07-15 14:43:40 · 4054 阅读 · 0 评论 -
Linux下 ntp 时间同步服务ntpd 出现 the NTP socket is in use, exiting 解决
在Linux中将主从节点进行时间同步的时候,会出现如下所示的问题:[admin@admin02 ~]$ sudo ntpdate admin0110 Jul 10:58:33 ntpdate[2472]: the NTP socket is in use, exiting首先,使用命令ps -aux | grep ntp查看ntp服务是否已经正常开启[admin@admin02 ~]$ ...原创 2019-07-10 23:10:59 · 1490 阅读 · 0 评论 -
ElasticSearch 启动运行报错
在本次安装过程中,采用的是root权限进行安装elasticSearch,因此在启动程序的时候出现下述所示的错误信息:[root@admin01 elasticsearch-5.2.2]# bin/elasticsearch[2019-08-27T19:11:35,040][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [admin01...原创 2020-05-18 17:38:24 · 1558 阅读 · 0 评论