aikeaidecxy的博客

这里一共两个问题**,第一个问题是以独占方式锁定此配置文件失败**,具体如下:在网上搜了解决方案:下面以win10系统为例:**第一种解决方法如下:结束 VMware Workstation进程即可,**事实证明非常不适用下附带win7的解决方案: 具体请参考这个网址https://jingyan.baidu.com/album/ed2a5d1f6fb4a309f6be17c3.htm...

文章目录前言一 HBase简介二 HBase表的数据模型1 rowkey行键2 Column Family列族3 Column列4 cell单元格5 Timestamp时间戳三 HBase整体架构1 Client客户端2 ZooKeeper集群3 HMaster4 HRegionServer5 Region四 HBase安装1 安装准备2 安装步骤3 启动HBase集群4 停止HBase集群五 HBase shell 命令基本操作1 进入HBase客户端命令操作界面2 HBase表模型特点3 HBase数据

文章目录前言项目需求需求具体实现1 lm_sensors工具安装2 每行脚本具体说明3 终极代码实现(放大招)前言各位小伙伴好久不见，最近工作和生活上琐事比较多，所以一直没更文，今天忙里偷闲，跟各位更新一篇拿来即用脚本文章，还望各位笑纳，另外附加介绍每一个的语句的使用以及含义。话不多说，直接开始我们今天的正题：项目需求我们采购的工作站老是因为CPU和显卡温度高而导致服务器挂掉，因此领导让写一个监控CPU的温度脚本来实时监测温度，并把异常情况输出到服务器需求具体实现1 lm_sensors工具安装

GC的官方解释:GC（Garbage Collection)：JAVA/.NET中的垃圾回收器。Java是由C++发展来的。它摈弃了C++中一些繁琐容易出错的东西。其中有一条就是这个GC。而C#又借鉴了JAVA。在老式的C/C++程序中，程序员定义了一个变量，就是在内存中开辟了一段相应的空间来存值。由于内存是有限的，所以当程序不再需要使用某个变量的时候，就需要销毁该对象并释放其所占用的内存资源...

常用的排序算法的时间复杂度和空间复杂度1、时间复杂度（1）时间频度 一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记...

1.hive中sort by与order by的区别sort by – 局部排序，只保证单个reduce内有顺序order by – 全局排序，保证所有的reduce中的数据都有顺序ps:如果reduce只有一个，两者都一样两者通常和asc desc搭配，默认使用升序asc只要使用order by，reduce的个数就是1个也可以自定义设置reduce数量:set mapre...

累加器用来对信息进行聚合，而广播变量用来高效分发较大的对象。广播变量对于经常用到变量值,在分布式计算当中,多个节点task一定会多次请求这个变量就会产生大量网络IO,会影响效率,这是就可以使用广播变量的方式广播到相对应的exector端,以后在使用该变量时就可以直接向本机获取该值计算即可.累加器:累加器是Spark提供,用于多个task并发的对某个变量进行操作,task可以定义累加器进行操...

ps:有两种安装方式:1 所有的操作都在root下进行,最后再对其进行权限修改,因为这个集群要求的是需要用非root用户实现启动2 直接在非root用户下进行操作,这样造成的结果就是每次操作都需要注意权限问题,需要加sudo,个人觉得第二种方法比较复杂,所以用的第一种方式.下面以第一种方式为例,进行集群的搭建1 首先,es启动时需要使用非root用户，所以创建一个bigdata用户(nod...

.1 Ruby环境准备redis集群管理工具redis-trib.rb依赖ruby环境，首先需要安装ruby环境安装rubyyum install -y rubyyum install -y rubygems当在redis的源码包src下面有这个的时候,说明安装成功将redis-3.0.0.gem放到跟redis和redis源码包同一目录下(比如我的是在usr/local下),然后执...

**producer:**消息生产者，负责将数据写入（push）到broker，或者说将消息发布到 kafka 集群。**consumer:**消息的消费者，负责从kafka读取（pull）数据，老版本（0.9.0.0版本之前），消费者依赖zookeeper保存一些信息，如消费者群组的信息、主题信息、消费分区的偏移量；,新版本(0.9.0.0以及之后)引入了新的消费者接口，允许broker直接维...

以kafka_2.11-0.8.2.2.gz版本为例:1 解压到一个目录下tar -zxvf kafka_2.11-0.8.2.2.gz -C /usr/local/2 修改配置文件:cd /usr/local/kafka_2.11-0.8.2.2/config/vi server.properties修改borker.id=0(node01为1,node02为1,node03为2,...

常见端口汇总：Hadoop：50070：HDFS WEB UI端口8019 ： ZKFC端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： Journalnode默认的端口号8080： master的webUI，Tomcat的端口号Hbase:60010：Hbase的master的...

**共同点:**都是spark基本数据抽象,底层都是对整个数据集进行分区;并行化处理;都是不可变数据集;RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利;三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算;DataFrame和Dataset均可使用模式匹配获取...

map、flatmap、mapPartitions、mapPartitionsWithIndex算子的区别?相同点:都是对一个RDD元素进行映射,即map,具体怎么映射,根据传入的参数来决定区别: 首先map和mapPartitions的区别是map对RDD中每个元素取出来,作为定义函数的参数,然后传进去,计算值,得到新的RDD里面新的元素;mapPartitions是将每个分区里面的数据拿出...