- 博客(202)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 ES配置参数详解(一)
cluster.name#集群名，自定义集群名，默认为elasticsearch，建议修改，因为低版本多播模式下同一网段下相同集群名会自动加入同一集群，如生产环境这样易造成数据运维紊乱。node.name节点名，同一集群下要求每个节点的节点名不一致，起到区分节点和辨认节点作用node.master是否为主节点，选项为true或false，当为true时在集群启动时该节点为主节点，在宕机或任务挂掉之后会选举新的主节点，恢复后该节点依然为主节点node.data是否处理数据，选项为true或fal
2021-04-09 09:05:41
2724
1
原创 关于Zookeeper不得不说的事
在说完全分布式模式之前，必须重点提一下Zookeeper。虽然Zookeeper不是HBase的组成部分，但它却是其不可或缺的依赖组建。你必须完全理解Zookeeper在HBase中的作用和地位，才能避免在接下来的操作中带来的问题。首先你需要知道：HBase自带了一个Zookeeper，而且会默认启动自已的Zookeeper。Zookeeper进程的名字：如果HBase用的是自已的Zookeeper，那你在jps中看到的Zookeeper名字是HQuorumPeer。如果使用的是外部的Zookeepe
2021-03-25 11:44:01
639
原创 Elasticsearch 报错-org.elasticsearch.discovery.MasterNotDiscoveredException: null
报错如下所示：[2019-05-28T23:16:19,548][WARN ][r.suppressed ] [elasticsearch-01] path: /_cat/health, params: {pretty=, v=}org.elasticsearch.discovery.MasterNotDiscoveredException: null at org.elasticsearch.action.support.master.TransportMasterNodeA
2021-02-25 13:46:52
4575
1
原创 python的ZeroDivisionError异常处理代码
Python使用被称为异常 的特殊对象来管理程序执行期间发生的错误。每当发生让Python不知所措的错误时，它都会创建一个异常对象。如果你编写了处理该异常的代码，程序将继 续运行;如果你未对异常进行处理，程序将停止，并显示一个traceback，其中包含有关异常的报告。异常是使用try-except 代码块处理的。try-except 代码块让Python执行指定的操作，同时告诉Python发生异...
2020-08-25 08:42:10
1510
原创 VMware Workstation 请确保您有权运行该程序、访问该程序使用的所有目录以及访问所有临时文件目录
VMware Workstation 无法连接到虚拟机。请确保您有权运行该程序、访问该程序使用的所有目录以及访问所有临时文件目录。 VMware Authorization Service 当前未运行。问题描述：我在windows10操作系统中使用VMware® Workstation 15 Pro安装linux操作系统，然而再重新开机启动虚拟机的时候不但卡机，还会有如下报错：vmx进程提前...
2020-08-19 09:27:05
1929
原创 hive update和delete报错Attempt to do update or delete using transaction manager
而在默认情况下，当用户如果使用update和delete操作时，会出现如下情况：hive> select * from userdb.student;OK1009 991001 zhangsan1002 lisi1003 wangwu1004 liliu1005 mengmeng1008 chengchengTime taken: 0.522 seconds, Fetched: 7 row(s)hive> delete from userdb.student where
2020-07-29 16:47:13
5937
原创 Hadoop与HBase集群的监控
一、Ganglia分布式监控部署具体安装流程及方法参考以下博客即可。https://blog.csdn.net/Victory_Lei/article/details/102907824二、配置Hadoop1.添加Hadoop被Ganglia监控，去掉文件中以***释并修改（每台同样配置）[admin@admin01 hadoop]$ pwd/home/admin/softwares/...
2020-07-01 15:10:09
451
原创 sqoop自动增量导入 报错
在Sqoop的查询案例中可能会出现以下的报错：[admin@hadoop102 sqoop-1.4.6.bin__hadoop-2.0.4-alpha]$ bin/sqoop import \> --connect jdbc:mysql://hadoop102:3306/company \> --user root \> --password root \> -...
2020-06-15 10:09:33
1524
原创 ElasticSearch 启动运行报错
在本次安装过程中，采用的是root权限进行安装elasticSearch，因此在启动程序的时候出现下述所示的错误信息：[root@admin01 elasticsearch-5.2.2]# bin/elasticsearch[2019-08-27T19:11:35,040][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [admin01...
2020-05-18 17:38:24
1809
原创 Hive的基本数据类型介绍
1、基本数据类型2、Struct1）描述hive中的 struct 和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。2） 语法示例struct()a、创建表hive (default)> create table stu...
2020-04-08 16:53:44
1162
原创 Hive如何避免数据倾斜
写SQL要先了解数据本身的特点，如果有join ,group操作的话，要注意是否会有数据倾斜，如何影响避免数据倾斜问题的出现，将更大可能的减少执行所需的时间。
2020-03-31 15:08:54
1669
原创 hive的查询基本原则
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select … from Ajoin Bon A.key =...
2020-03-26 13:55:37
309
原创 关于VMware问题：无法获得 VMCI 驱动程序的版本
今天在启动虚拟机的时候，突然遇到下列所示的问题：解决方法：根据配置文件路径找到对应的.vmx文件：用编辑器打开，找到vmci0.present = “TRUE”一项：将该项修改为：vmci0.present = “FALSE”...
2020-01-14 09:28:52
960
原创 启动Ganglia报错：There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Connection
启动ganglia报错如下所示：There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Connection refused检查方法：1、查看启动的httpd、gmetad、gmond是否正常启动。此处，gmetad没有正常启动，且报错原因如下所示：[admin@admin02 ~]$ s...
2020-01-08 14:46:28
1319
原创 iptables: Applying firewall rules: iptables-restore: line 13 failed [FAILED]
在使用amdin01:5601访问浏览器的时候，一直不能进行正常访问，原因是防火墙关闭，导致5601的端口不能进行正常的访问，因此想尝试重新开启防火墙任务，但是开启失败。[root@admin01 ~]# /etc/init.d/iptables restartiptables: Setting chains to policy ACCEPT: filter [ OK ]...
2019-12-31 18:04:48
2799
2
原创 Docker的安装及Hadoop分布式的部署
使用docker搭建部署hadoop分布式集群在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。一：环境准备：1：首先要有一个Centos7操作系统，可以在虚拟机中安装。a、root账户登录，查看内核版本[root@admin01 ~]# uname -aLinux admin01 3.10.0-862.el7.x86_64 #1 ...
2019-12-23 14:37:02
685
原创 基于Docker的Hadoop集群安装
前情回顾之前在搭建大数据集群的时候，一直使用的是VMware虚拟机中直接搭建集群，这样的操作需要考虑到硬件设备的综合性能。今天为大家介绍一下如何使用Docker容器中安装Hadoop集群，接下来将会为大家详细的介绍搭建的方法以及需要注意的事项。一、准备环境1. 安装Dockersudo apt-get install docker2.准备Hadoop的压缩包在这里直接将我之前使用的t...
2019-12-01 15:56:33
566
原创 监控flume神器之Ganglia
今天在部署Flume配置的时候，为了满足更直观的展示出效果，特地学习安装了Ganglia，接下来就详细的为大家介绍一下整个操作流程及部署过程中所遇到的问题。安装httpd服务与php yum -y install httpd php安装其他依赖yum -y install rrdtool perl-rrdtool rrdtool-develyum -y install apr-deve...
2019-11-25 11:13:50
391
1
原创 分布式监控部署之Ganglia
二、安装gmond[root@admin01 ~]# yum install ganglia-gmond -yLoaded plugins: fastestmirrorRepository base is listed more than once in the configurationLoading mirror speeds from cached hostfile * base:...
2019-11-05 11:22:43
524
原创 关于Centos7中安装MySQL冲突和问题解决小结
今天在CentOS7上安装MySQL其所用到的命令如下所示：[root@admin installtions]# unzip mysql-libs.zip Archive: mysql-libs.zip creating: mysql-libs/ inflating: mysql-libs/MySQL-client-5.6.24-1.el6.x86_64.rpm infla...
2019-10-31 16:12:50
905
原创 ES之kibana安装与集成
一、Elasticsearch 版本编辑Kibana 的版本需要和 Elasticsearch 的版本一致。这是官方支持的配置。运行不同主版本号的 Kibana 和 Elasticsearch 是不支持的（例如 Kibana 5.x 和 Elasticsearch 2.x），若主版本号相同，运行 Kibana 子版本号比 Elasticsearch 子版本号新的版本也是不支持的（例如 Kib...
2019-10-24 12:27:03
1778
原创 安装ElasticHD实现对ES进行可视化监控管理
ElasticHD 支持 ES监控、实时搜索，Index template快捷替换修改，索引列表信息查看， SQL converts to DSL工具等，体验下来感觉还是比较强大的！**项目地址：**https://github.com/360EntSecGroup-Skylar/ElasticHD直接安装方式：首先打开https://github.com/360EntSecGroup-Sk...
2019-10-24 10:02:30
2035
1
原创 zookeeper集群部署 启动后报错ZooKeeper JMX enabled by default...
部署Zookeeper集群1.解压文件[admin@admin01 modules]$ tar -zxvf zookeeper-3.4.5.tar.gz 2.修改文件配置信息[admin@admin01 conf]$ pwd/home/admin/opt/softwares/zookeeper-3.4.5/conf[admin@admin01 conf]$ 在路径/home/ad...
2019-10-22 19:10:27
3451
转载 redis（一主两从三哨兵模式搭建）记录
目的:让看看这篇文章的的人能够知道：软件架构、软件的安装、配置、基本运维的操作、高可用测试、也包含我自己，能够节省对应的时间。软件架构：生产环境使用三台服务器搭建redis哨兵集群，3个redis实例（1主2从）+ 3个哨兵实例。生产环境能够保证在哨兵存活两台的情况下，只有一台redis能够继续提供服务（一主两从三哨兵）软件安装：分别在三台机器上通过yum进行redis的下载和安装以及...
2019-10-10 11:01:47
709
原创 Zookeeper启动失败：java.net.BindException: Address already in use
查看日志信息如下所示：[ipaas@admin01 bin]$ ./zkServer.sh start-foregroundZooKeeper JMX enabled by defaultUsing config: /home/ipaas/zookeeper/zookeeper-3.4.11/bin/../conf/zoo.cfgSLF4J: Class path contains mu...
2019-10-08 08:57:35
3146
1
原创 Centos7下开启80端口
[root@admin01 ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent 命令含义：–zone #作用域–add-port=80/tcp #添加端口，格式为：端口/通讯协议–permanent #永久生效，没有此参数重启后失效重启防火墙：[root@admin01 ~]# systemctl st...
2019-09-23 15:45:49
528
原创 Docker的基本操作命令
1、下载centos images[root@admin01 ~]# docker pull centos2、查看镜像[root@admin01 ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEadmi...
2019-09-17 22:36:46
485
原创 CentOS上安装Docker的详细教程
1：首先要有一个Centos7操作系统，可以在虚拟机中安装。a、root账户登录，查看内核版本[root@admin01 ~]# uname -aLinux admin01 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linuxb、更新yum源[root@admin...
2019-09-17 15:15:31
612
原创 Linux 下 you need to be root to perform this command
在linux 终端执行某条命令时提示一下错误you need to be root to perform this command是提示要获取root权限输入su 回车输入密码[admin@admin01 ~]$ yum install sshLoaded plugins: fastestmirror, langpacksYou need to be root to perform...
2019-09-17 12:09:09
1371
原创 ElasticSearch里JAVA环境丢失的问题
CentOsS在配置ElasticSearch时，出现了java环境缺失的问题（我这里用的是1.8的版本）。具体地，启动ES服务时候sudo -s /bin/bash -c "bin/elasticsearch" elastic找到你elasticsearch执行的目录，一般是/etc/init...
2019-09-09 10:01:12
1172
原创 出现 Cannot open D:\Program Files\Anaconda3\Scripts\pip-script.py 错误解决办法
Cannot open D:\Program Files\Anaconda3\Scripts\pip-script.py
2019-09-05 09:14:53
10896
7
原创 部署ElasticSearch集群启动失败
今天一直在尝试部署启动ElasticSearch集群，但是在启动的时候一直处于报错的状态信息。鉴于之前部署的单节点ElasticSearch能够启动成功，所以排除了安装包的问题。如下所示的报错信息：[2019-08-28T10:21:08,743][ERROR][i.n.u.c.D.rejectedExecution] Failed to submit a listener notificat...
2019-09-02 09:41:01
8860
原创 ES启动后报Killed
在正常部署的ElasticSearch集群中，刚开始启动正常运行，但是在安装完插件之后集群启动开始报一致的错误信息：[admin@admin01 elasticsearch-5.2.2]$ bin/elasticsearch[2019-08-27T23:22:03,892][INFO ][o.e.n.Node ] [admin01] initializing ......
2019-09-01 17:01:23
2085
2
原创 虚拟机启动后黑屏无法进入系统的解决方法
此处直接介绍解决方法：1.以管理员方式启动CMD2.修复LSP，在CMD中输入netsh winsock reset 3.重启电脑，就能正常打开虚拟机了
2019-08-30 15:45:47
8367
原创 安装ES出现“Unsupported major.minor version 52.0”报错信息
今天下午，在新配置的虚拟机中采用普通用户对elsaticsearch进行安装的时候，在使用命令bin/elasticsearch对其进行启动的时候，出现下述所示的报错信息：[admin@admin04 elasticsearch-5.2.2]$ bin/elasticsearchException in thread "main" java.lang.UnsupportedClassVersi...
2019-08-29 11:04:50
1044
原创 ElasticSearch的安装部署
需要注意的是，ElasticSearch需要使用的是普通用户去执行，root用户对其没有启动权限。在此，部署的是单节点的应用。1.安装包的下载Elasticsearch官网： https://www.elastic.co/products/elasticsearch2. 解压1）解压elasticsearch-5.2.2.tar.gz到/opt/module目录下[rocky@admin...
2019-08-27 16:53:37
266
原创 error: Failed dependencies: /usr/bin/perl is needed by MySQL-server-5.6.24-1.el6.x86_64报错
今天在CentOS上再次安装MySQL的时候出现如下所示的错误信息;刚刚开始，并不知道是什么问题？在经过多次排除才得出最终的结果信息。解决方法执行下面这条命令，安装perl依赖yum install -y perl-Module-Install.noarch在执行完上述的代码之后，着急去安装，结果依旧报错，原来还是缺少yum install -y perl运行结果最后成功啦！...
2019-08-26 12:01:55
3999
2
原创 如何解决pycharm from lxml import etree标红的方法
原因：没有lxml这个包解决方法：需要安装xlml包下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/如何下载对应的包：1.查看本机python版本，版本为3.6.0 就找包名含cp36的包AMD64：import pip._internal;print(pip._internal.pep425tags.get_supported())WI...
2019-08-20 16:04:34
3115
原创 Docker未启动错误:Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon
此问题是因为Docker安装后未启动所致，执行以下命令启动docker：systemctl start docker.service具体日志如下所示：[root@localhost ~]# docker psCannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon r...
2019-07-24 08:55:24
4134
1
Hadoop_2.7.2.zip
2021-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人