- 博客(57)
- 资源 (225)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 存在隐患 : 3 racks are required for the erasure coding policies: RS-6-3-1024k. The number of racks is on
刚装的CDH6.2.1版本的集群172.30.81.203 manager172.30.81.204 node1172.30.81.205 node2172.30.81.206 node3存在隐患：9 DataNodes are required for the erasure coding policies: RS-6-3-1024k.The number of DataNodes is only 3.9 DataNodes are required for the erasure codin
2021-05-26 14:55:44
1695
原创 了解你服务器的心情——top命令详解
top是Linux较为常用的命令，可以监控服务器的CPU、内存、进程的运行情况，话不多说，直接操作。输入top即可启动：下面我们就来逐一介绍top向我们展示的内容。第一行：系统概况top - 19:39:14 up 20 days, 7:48, 1 user, load average: 0.00, 0.01, 0.0519:39:14 up 20 days：系统运行时间1 user：用户数load average: 0.00, 0.01, 0.05：1分钟、5分钟、15分钟的平均负载
2021-05-26 11:12:02
491
原创 关于 Linux 进程的睡眠和唤醒 ，来看这篇就够了~
1 Linux 进程的睡眠和唤醒在 Linux 中，仅等待 CPU 时间的进程称为就绪进程，它们被放置在一个运行队列中，一个就绪进程的状 态标志位为 TASK_RUNNING。一旦一个运行中的进程时间片用完， Linux 内核的调度器会剥夺这个进程对 CPU 的控制权，并且从运行队列中选择一个合适的进程投入运行。当然，一个进程也可以主动释放 CPU 的控制权。函数 schedule() 是一个调度函数，它可以被一个进程主动调用，从而调度其它进程占用 CPU。一旦这个主动放弃 CPU 的进程被重新调度占用
2021-05-26 11:10:15
1572
原创 CDH中MYSQL的作用
CM底层自动部署安装数据库进行系统配置、schema等并进行相应管理。同时CM也支持使用外部数据库作为系统配置、数据表结构等的底层存储，具体支持的数据库包括：MySQL：5.1、5.5、5.6、5.7PostgreSQL：8.1、8.3、8.4、9.1、9.2、9.3、9.4Oracle：11gR2、12c一般来说外部元数据库都会采用系统自带的MySQL服务。 确保以下配置： 、增加数据库的最大连接数确保数据库支持UTF-8编码配置为主备模式，参考如何实现CDH元数据库MySQL的主备为了.
2021-05-25 13:33:44
547
原创 CDH简单介绍及体系架构
官网介绍CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。为什么选择CDH部署C
2021-05-25 13:29:04
1551
原创 CDH各组件
CDH| Spark升级摘要：升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 阅读全文posted @ 2020-04-22 11:55 kris12 阅读(637) 评论(0) 推荐(0) 编辑CDH| 安全之Kerberos安全认证摘要：1 Ke
2021-05-25 13:27:43
700
原创 CDH组件简介
1.HDFS：Hadoop分布式文件系统被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Ha
2021-05-25 13:14:52
1163
原创 EndOfStreamException: Unable to read additional data from client sessionid 0x0, likely client has cl
今天在hbase中执行下面的命令disable ‘iw:test06’alter ‘iw:test06’,NAME=>‘i’,COMPRESSION=>‘SNAPPY’count ‘iw:test06’提示下面的异常信息2018-01-15 10:49:20,660 [myid:2] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket connection for.
2021-05-21 16:21:26
6294
原创 storm执行过程中出现EndOfStreamException
在执行storm过程中出现如下的异常，虽然不影响结果，但是还是求教为什么会出现这样的异常，该怎么解决呢？9782 [Thread-6-SendThread(localhost:2000)] INFO org.apache.storm.zookeeper.ClientCnxn - Session establishment complete on server localhost/127.0.0.1:2000, sessionid = 0x14a55e16c96000b, negotiated timeo
2021-05-21 16:18:53
652
原创 zookeeper连接，报caught end of stream exception EndOfStreamException: Unable to read additional data fro
最近发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，但是改了之后，发现一天的日志量就是100多M，滚动日志一天就被冲掉了，这个不科学。再仔细查看下日志里的内容，发现有很多连接建立好，马上又断开：2016-09-19 22:48:54,347 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection
2021-05-21 16:16:16
8400
原创 CDH启动和日志查看
目录：cdh集群启动cdh集群Linux日志查看cdh集群管理界面日志查看——————————————————————————————————cdh集群启动备注：公司CDH集群为CDH-5.7.1版本1）登录Master机器执行命令：/opt/cm-5.7.1/etc/init.d/cloudera-scm-server start2）登录集群所有agent机器执行命令：/opt/cm-5.7.1/etc/init.d/cloudera-scm-agent startcdh集群L
2021-05-21 13:33:49
1671
原创 HBase内部操作日志说明
版本：0.94-cdh4.2.1Split Region[regionserver60020-splits-1397585864985] INFO org.apache.hadoop.hbase.regionserver.SplitRequest - Region split, META updated, and report to master. Parent=test_table,|u:21419463|1389789100286|9749216794103914,1391785640492.8
2021-05-21 13:31:45
612
原创 hbase下的logs怎么查看日志
日志文件夹的默认存储路径是：/var/log下面是几个重要的日志文件：/var/log/messages：包括整体系统信息，其中也包含系统启动期间的日志。此外，还包括mail，cron，daemon，kern和auth等内容。/var/log/syslog：它和/etc/log/messages日志文件不同，它只记录警告信息，常常是系统出问题的信息。/var/log/user.log：记录所有等级用户信息的日志。/var/log/auth.log：包含系统授权信息，包括用户登录和使用的权限机制等。
2021-05-21 13:30:02
6823
3
原创 Hbase常见异常hbase:meta,,1.1588230740 is NOT online； state={1588230740 state=OPEN, ts=162
1.启动hbase后，在hbase shell中执行 status和create时报错123456789ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializingat org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:3064)at org.apache.hadoop.hbase.master.HMaster
2021-05-21 13:28:07
4014
原创 记录 hbase:meta,,1.1588230740 is NOT online； state={1588230740 state=OPEN, ts=162
HBase错误解决在IDEA中远程连接时提示错误2019-10-08 15:17:28 DEBUG org.apache.zookeeper.ClientCnxn Reading reply sessionid:0x10000192d2c000b, packet:: clientPath:/hbase/meta-region-server serverPath:/hbase/meta-region-server finished:false header:: 11,4 replyHeader::
2021-05-21 13:26:02
2175
1
原创 【记录】win环境下hbase启动报错 master.HMaster: hbase:meta,,1.1588230740 is NOT online
报错信息例如：2019-09-02 09:43:21,534 WARN [master/s128:16000:becomeActiveMaster] master.HMaster: hbase:meta,1.1588230740 is NOT online; state={1588230740 state=OPEN, ts=1567388594985, server=s130,16020,1567155264196}; ServerCrashProcedures=true. Master startup
2021-05-21 13:23:33
754
原创 ERROR: KeeperErrorCode = NoNode for /hbase/master
系统为Mac OS10.15JAVA版本 Java 8 Update 221输入hbase命令status 报错ERROR: KeeperErrorCode = NoNode for /hbase/master恳求各位的帮忙 非常感谢以下为文件的配置信息hadoop core-site.xml<configuration> <property> <name>hadoop.tmp.dir</name> <
2021-05-19 22:25:32
2150
原创 【原创】大叔经验分享（31）CM金丝雀Canary报错
CM金丝雀Canary报错1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。2 Hive Metastore CanaryHive Metastore canary 创建 hue hdfs 主目录失败。检查：1）hdfs是否处于safemode，正常是offhdfs dfsadmin -safemode getSafe mode is OFF2）hdfs datanode是否健康，磁盘空间是
2021-05-19 13:10:30
264
原创 IntelliJ IDEA 老司机，还没用过 Stream Trace 功能？
前言自从 Java 8 开始，作为程序员的我们都离不开 Stream 相关功能的使用，书写起来那叫一个流畅（这个 feel～～）。但总是有一些时候，我们对 stream 的操作所要的结果和预期不符，这就需要我们逐步调试，定位问题常规调试先来看下面这段代码：public static void main(String[] args) {Object[] res = Stream.of(1,2,3,4,5,6,7,8).filter( i -> i%2 == 0).filter( i ->
2021-05-18 15:02:51
135
原创 CM金丝雀Canary报错
CM金丝雀Canary报错1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。2 Hive Metastore CanaryHive Metastore canary 创建 hue hdfs 主目录失败。检查：1）hdfs是否处于safemode，正常是offhdfs dfsadmin -safemode getSafe mode is OFF2）hdfs datanode是否健康，磁盘空间是
2021-05-18 14:59:26
261
原创 Hadoop操作HDFSAPI 错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)
客户端操作HDFS的API的时候,出现如下错误org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapiv2/order_created.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this op.
2021-05-17 17:40:54
967
原创 三步彻底关闭谷歌浏览器自动更新
不想让Chrome浏览器自动更新，主要是因每个人可能都不一样。看了网上的很多方法都不管用，后来找到这个方法测试成功后真的太开心了。现在分享给大家，希望给需要的人一点帮助吧。不知道是不是Win10系统的原因，以前试过改注册表的方式，不过失败了，而且改注册表这种作死的事感觉有点复杂，也有点不安，最后找到了更加简单有效的方法，在这里记录一下。第一步：禁用任务计划首先是【右键计算机->管理】，在【计算机管理(本地)->系统工具->任务计划程序->任务计划程序库】中找到两个和Google
2021-05-17 15:31:00
10032
1
原创 storm安装及启动
1、安装一个zookeeper集群2、上传storm的安装包，解压3、修改配置文件storm.yaml#所使用的zookeeper集群主机storm.zookeeper.servers:- “weekend05”- “weekend06”- “weekend07”#nimbus所在的主机名nimbus.host: “weekend05”supervisor.slots.ports-6701-6702-6703-6704-6705启动storm在nimbus主机上nohup
2021-05-14 18:00:17
234
原创 Storm数据源和输出选择
一、数据源选择：1、实时性我们已经不断的提到Storm是一个实时计算框架。其不能一次性获取所有的数据，进行分析处理。而是Spout不断的从外部数据源中获取最新的数据，然后交给Bolt处理。这意味着，我们的Spout必须要不断的检测外部数据源有没有最新的数据，如果有新数据了，就获取到最新的数据，然后交给Bolt处理。2、容错而且我们还必须要考虑的是，如果如果一条数据处理失败了，Spout必须还能再次获取这条数据，否则计算出的结果的误差就会比较大。3、数据路由我们已经知道一个Topology中可能.
2021-05-14 17:18:43
195
原创 Storm Topology组件
前面的章节已经提到过，Storm集群中的任务称之为Topology。对比Hadoop中的MapReduce job，mapper用于从数据源中获取数据，经过简单处理，以一定的格式传递给reducer，reducer负责后续处理。类似的，Topology任务也要从数据源中获取数据，然后进行后续处理。在Topology中从外部数据源获取数据的组件，称之为Spout，处理数据的组件，称之为bolt。一个Topology就是由一个或者多个的Spout和Bolt组成。对于如下：数据获取 数据处理Hadoop
2021-05-14 17:16:52
725
原创 Storm集群架构
2016-01-27 00:39:30 11,927 1Storm集群，利用了分布式系统中经典的master/slave架构。以下显示的是一个Storm集群，其中master节点为Nimbus，slave节点有四个，称之为supervisor。在传统的master/slave架构中，都是master节点负责任务的接受、分配、监控等管理任务，从节点负责任务的执行。总的来说，storm中的主从架构，基本上也符合这个规则。(以下纯属个人理解)不过storm对这个master/slave架构有着一定的扩
2021-05-14 17:12:04
452
原创 Storm并行度详解（如何配置新增work）
一、Storm并行度相关的概念 Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点），在conf/storm.yaml中配置了一个supervisor,有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker(一个节点，运行一个worker)，在每个worker里面可以运行多个线程叫做executor，在executor里运行一个topology的一个component（spout、bolt）叫做task。task 是
2021-05-14 13:24:53
599
原创 修改linux的hostname (修改linux系统的IP和hostname)
vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=yourname //在这修改hostnameNISDOMAIN=eng-cn.platform.com2.修改/etc/hosts里面的名字＃ vi /etc/hosts127.0.0.1 localhost.localdomain localhost172.17.33.169 yourname //在这修改hostname3.最后在终端下执行：＃hostname ***** //*****为
2021-05-14 13:10:51
1138
原创 scp拷贝文件及文件夹（一台服务器到另一台）
拷贝文件夹把当前文件夹tempA拷贝到 目标服务器10.127.40.25 服务器的 /tmp/wang/文件夹下scp -r /tmp/tempA/ wasadmin@10.127.40.25:/tmp/wang/scp -r /etc/yum.repos.d/ root@133.0.7.15:/etc/其中wasadmin是目标服务器的用户名，执行命令提示输入密码，然后输入密码即可拷贝文件把当前文件tempA.txt拷贝到 目标服务器10.127.40.25 服务器的 /tmp/wang/文
2021-05-14 13:10:05
837
3
原创 linux下RTNETLINK answers: File exists的解决方案 慎重
重启网卡时 出现 :RTNETLINK answers: File exists 提示以下是网卡出来错误的解决方法：第一种： 和 NetworkManager 服务有冲突，这个好解决，直接关闭 NetworkManger 服务就好了， service NetworkManager stop，并且禁止开机启动 chkconfig NetworkManager off 。之后重启就好了。第二种：和配置文件的MAC地址不匹配，这个也好解决，直接修改 /etc/udev/rules.d/70-persist
2021-05-13 13:35:42
3329
1
原创 Linux SCP命令远程复制文件
Linux SCP命令远程复制文件从本地复制到远程复制代码scp 本地文件 远程用户名@远程地址:远程目录(此命令回车后会要求输入密码，验证通过后会把本地文件复制到远程目录中，文件名不变)或者scp 本地文件 远程用户名@远程地址:远程文件名称(此命令回车后会要求输入密码，验证通过后会把本地文件复制到远程用户主目录中，文件名会重新定义成远程文件名称)或者scp 本地文件 远程地址:远程目录(此命令回车后会要求输入用户名和密码，验证通过后会把本地文件复制到远程目录中，文件名不变)或者scp
2021-05-11 16:37:03
143
1
原创 linux分配文件文件夹所属用户及组
ls -l 可以查看当前目录文件。如：drwxr-xr-x 2 nsf users 1024 12-10 17:37 下载文件备份分别对应的是：文件属性 连接数 文件拥有者 所属群组 文件大小 文件修改时间 文件名这里r是可读，w可写,x 可执行，其中文件属性分为四段，---- — --- 10个位置例如：d rwx r-x r-x第一个字符指定了文件类型。在通常意义上，一个目录也是一个文件。如果第一个字符是横线，表示是一个非目录的文件。如果是d，表示是一个目录。第二段是文件拥有者
2021-05-11 13:30:12
1524
原创 linux如何修改文件夹所属用户名和用户组
格式：chown 账号名称 文件或目录实例：chown www vpsss增加权限给当前用户 chmod +wx filenamechmod -R 777 /upload用户组 chgrp -R foldname zdzchown -R 所有者用户名.组名 文件夹名称例如：chown -R zdz.nginx KooBox...
2021-05-11 13:29:36
194
原创 chown：修改用户的所属用户和所属组方法
Linux共有三种文件类型：普通文件： 包括文本文件、数据文件、可执行的二进制程序文件等，使用“-”标识。目录文件： Linux系统把目录看成是一种特殊的文件，利用它构成文件系统的树型结构，使用“d”标识。设备文件： Linux系统把每一个设备都看成是一个文件一般情况下，修改文件权限的命令常用的是：chown，本文raksmart.idcspy.com简单来说说。方法/步骤修改文件所属的用户命令：chown james demoPS：james是用户名，demo是文件夹。chown：修改
2021-05-11 12:01:32
1944
原创 华为防火墙默认密码是什么？
华为默认密码是什么？分享至：【小王邀请您加入牛B的IT关键业务推动者社区】点击领取12G的软考/PMP资料包+特训营名额 >>售前工程师系列【教你写解决方案】 >> ld11235813荣誉会员 Rank: 12Rank: 12Rank: 12帖子2008精华2无忧币100879_small.gif29_small.gif64_small.gif108_small.gif121_small.gif他的博客他的下载他的学院发短消息 发表于 2012-2-24
2021-05-08 17:11:44
9193
原创 Windows 2012 R2 如何设置同时多点远程系统或3人以上同时登录系统
Windows 2012 R2设置同一用户同时多点远程系统：Windows Server 2012R2 系统，在多人登录的情况下，默认第二个人或把第一个人踢掉，为了便于使用，将系统设置成可以多人同时同账户进行登录，如下：打开cmd，输入gpedit.msc 组策略，找到【计算机设置】–【管理模板】–【windows组件】–【远程桌面服务】–【远程桌面会话主机】–【连接】1、拒绝将已经登录到控制台会话的管理员注销—选择启用 —— 防止恶搞T管理员2、限制连接的数量—选择启用，配置‘允许的RD
2021-05-08 15:30:53
8509
原创 Windows Server 2012 R2 百度创建AD域
Windows Server 2012 R2 创建AD域前言我们按照下图来创建第一个林中的第一个域。创建方法为先安装一台Windows服务器，然后将其升级为域控制器。然后创建第二台域控制器，一台成员服务器与一台加入域的Win8计算机。环境网络192.168.100.1 子网掩码 255.255.255.0 网关192.168.100.2域名 contoso.comDC1 192.168.100.11/24DC2 192.168.100.12/24Server 192.168.100.13
2021-05-08 15:30:15
458
原创 请教server专家：在server 2012 R2标准版系统中激活RDS服务5用户许可后，当前只能2用户同时在线
server专家，您好！ 我现在成功在Windows Server 2012 R2 标准版系统中，成功激活了RDS多用登录服务，可用许可数是5用户，当前当我同时登录第三用户是，提示“选择要中断连接用户，以便你可以登录”，已登录的用户太多！请帮忙处理该问题！谢谢！您好，要让RDS server能够支持多用户同时登录，首先需要安装并激活远程桌面服务许可证服务器 (RDS licensing server)。安装和激活步骤参考以下链接：https://docs.microsoft.com/zh-cn
2021-05-08 15:10:22
2495
原创 Win2012服务器 远程桌面帐户允许多用户同时登录的配置方法（2个用户）
打开任务栏左下角的“服务器管理器”，在左侧列表中选中“本地服务器”然后将右侧“远程桌面”功能的选项修改为“启用”，注意取消下面复选框的选中状态：修改本地组策略，允许远程桌面帐户的多用户访问同时按住 “Win键”+R 组合键调出运行窗口，输入“gpedit.msc”调出组策略编辑器：按照 计算机配置->管理模板->Windows 组件->远程桌面服务->远程桌面会话主机->连接 的路径，找到“将远程桌面服务的用户限制到单独的远程桌面会话”配置项： 双击打
2021-05-08 15:07:21
2098
原创 Server2008R2:由于没有远程桌面授权服务器可以提供许可证,远程会话被中断.的解决方法，求大神们指导
出现“由于没有远程桌面授权服务器可以提供许可证，远程会话被中断”问题是因为微软默认的远程登录只提供120天的使用期限。解决该问题的具体步骤如下：1、打开运行，在运行中输入注册表命令“regedit”，然后回车通过命令打开注册表对话框。2、在注册表对话框中依次打开“HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server\RCM\GracePeriod”。3、右键点击“GracePeriod”，在菜单中点击“权限”。4
2021-05-08 12:42:42
2152
5
salt-minion-3005.5-2.el8.x86-64.rpm
2024-05-29
salt-3005.5-2.el8.x86-64.rpm
2024-05-29
salt-master-3005.5-2.el8.x86-64
2024-05-29
Google Chrome 浏览器 125.0.6422.113.x64 中文绿色便携稳定共存版
2024-05-29
Google Chrome 浏览器 125.0.6422.113.x64 中文绿色便携稳定共存版
2024-05-29
openssh9.4p1 针对x86系列升级openssh的编译包 配套的ssl文件
2023-08-25
centos 7.7 telnet安装包
2022-08-04
4-5G互操作参数重定向EPS FALLBACK
2022-05-19
Axure9元件库大合集 Axure9元件库大合集 百度网盘下载 .txt
2022-04-20
各位关于speedtest的ookla问题，报错如图
2022-03-17
虚拟机安装oommf软件报错
2021-03-24
storm ui 访问无数据显示（重启依然无反应）
2021-03-22
大家好，这里是我的留言板，如果有问题，欢迎大家留言，我会第一时间进行回复
2021-03-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人