m0_37813354的博客

1 下载elasticsearch-6.6.0[liucf@node1 softfile]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz[liucf@node1 softfile]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz--2021-0

1 下载wget http://download.redis.io/releases/redis-6.0.9.tar.gz2 解压tar -xzvf redis-6.0.9.tar.gz -C ../soft3安装3.1 进入解压目录[liucf@node1 soft]$ cd redis-6.0.9/3.2安装gcc编译环境如果已经安装过了，那么跳过本步骤[liucf@node1 redis-6.0.9]$ yum install gcc-c++..

1.软硬件准备软件：推荐使用 VMware，我用的是 VMware 16镜像：CentOS-7-x86_64-DVD-2009.iso硬件：因为是在宿主机上运行虚拟化软件安装centos，所以对宿主机的配置有一定的要求。最起码I5CPU双核、硬盘500G、内存4G以 2.虚拟机准备1.打开VMware选择新建虚拟机 2.典型安装与自定义安装典型安装：VMware会将主流的配置应用在虚拟机的操作系统上，对于新手来很友好。自定义安装：自定义安装可以针对性的把一些资源加..

https://flink.apache.org/downloads.html#flink

环境： centos7scala2.121 下载上传到机器解压官网下载https://kafka.apache.org/downloads

环境scala2.12.12hadoop3.2.2centos7

1 下载https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.3.5/

1 下载hive安装包http://ftp.twaren.net/Unix/Web/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz2 上传解压[liucf@node1 softfile]$ tar -zxf apache-hive-3.1.2-bin.tar.gz -C ../soft修改一下解压后的文件目录名，是自己看着舒服点，可以不做[liucf@node1 soft]$ mv apache-hive-3.1.2-bin a

1 下载https://downloads.mysql.com/archives/cluster/2检查系统总是否原有mysql如果有删除[liucf@node1 ~]$ rpm -qa | grep mysql[liucf@node1 ~]$3 上传解压mysql tar 包[liucf@node1 softfile]$ tar -xvf mysql-cluster-community-7.6.17-1.el7.x86_64.rpm-bundle.tar -C mysql...

达到的效果是自己的物理机可以自动获取ip，里面装的虚拟机ip固定，不随着网络环境变化ip变化1.设置虚拟机的网络连接方式-NAT最后“确定”2.配置虚拟机的NAT模式具体地址参数：（1）编辑--虚拟网络编辑器--更改设置（部分系统可能没有图中第2步）...

1 下载https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz2 解压[liucf@node1 softfile]$ tar -xzvf apache-zookeeper-3.6.3-bin.tar.gz -C /home/liucf/soft3 重命名文件目录和配置文件重命名目录[liucf@node1 soft]$ mv apache-z

参考：https://zhuanlan.zhihu.com/p/1163949451 准备机器集群规划 ip hostanem 配置 服务 192.168.109.151 node1 2c8g master 192.168.109.152 node2 2c4g 192.168.109.153 node3 2c4g 2 给普通用户liucf sudo 权限三...

1 无分区表1.1准备无分区表和数据创建表无分区表CREATE TABLE IF NOT EXISTS test_hive_tb1 (id BIGINT, name STRING) ;插入2条数据INSERT INTO TABLE test_hive_tb1 VALUES(100001,"lisi");INSERT INTO TABLE test_hive_tb1 VALUES(100002,"wangwu");查看hive> select * from test_

1 参考：https://blog.csdn.net/Shea1992/article/details/101041244https://www.jianshu.com/p/9fb9f32e1f0fhttps://www.jianshu.com/p/45c95a51a8c2https://blog.csdn.net/weixin_43941899/article/details/1057876882 我的环境：hadoop版本：3.0.0-cdh6.3.1 linux环境:centos

1 查卡我的hadoop支撑的压缩方式hdfs 配置控制台收索：io.compression.codecs可见没有LzopCodec方式2LzoCodec和LzopCodec区别LzoCodec和LzopCodec区别两种压缩编码LzoCodec和LzopCodec区别： 1. LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息。 2. LzoCodec作为Reduce..

spark 累加器的使用探索1 spark不能在遍历rdd过程中修改全局map2 spark 提供的累加器的使用2.1 了解累加器2.2 spark 提供的累加器的使用2.3 完整代码3 自定义累加器3.1 如何自定义和使用累加器3.2 自定义累加器和使用的完整代码3.2.1 自定义累加器代码3.2.2 使用自己累加器代码1 spark不能在遍历rdd过程中修改全局map引出问题① 我定义了一个全局的mapval map2 = mutable..

使用centos7系统主机安装cloudera6.3.1，结合官网，从集群规划，到软件依赖，以及系统部署，详细介绍遇到的坑爬过的砍，最后完成相应CDH相关版本服务的安装，比如hadoop3.0.0;spark2.4.0;hive2.1.1;hue4.4.0;ZooKeeper3.4.5;oozie5.1.0;hbase2.14等等

sparkSQL 读取hive表数据时候报如下错误我的语句很简单如下：val df: DataFrame = sqlContext.sql("select vipId,brandId,dt from pro60050.browse_wxapp_page_dt_partition where dt >= 20200227 and brandId = 253")df.show()...

工作中需要通过Spark以csv格式输出spark计算结果包括一些指标和维度为了方便普通客户使用表头要求中文。中文识别上遇到了些问题,出现了乱码：解决csv文件中的乱码最直接的思路就是添加BOM，这样Excel在打开Excel的时候就知道使用什么样的编码来解析这篇文档了。方法如下 只需要在csv文件表头字段名称的第一个字段名称的字符串最前面拼接一个BOM字符串就可以了...

我们遇到这样一个问题，1 先生成一个包含所有预置字段的DataFrame（此时的字段名称是英文的）2 根据传入的条件动态组合字段从1中的大的DataFrame 里 select的到想要的字段3 但是我想存入的csv文件中要有中文表头4 遇到的问题是：使用sql 拼接然后as 取别名为中文，会报出不支持所以想到如下的方法来解决：package ezr.df.drilli...

spark 输出文件的默认文件名 ：part-000xxxpart-000xxx比如：代码：import org.apache.spark._import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat/** 第一步： * 自定义类继承MultipleTextOutputFormat * ...

def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .master("local[*]") .appName("Test") .config("spark.serializer", "org.apache.spar...

目录1函数原型2 各参数的作用1.1 axis1.2 method3ascending4na_option5pct名次是否为百分数6 实例讲解6.1 DataFrame 原始数据6.1默认情况下6.2根据值在原数据中出现的顺序排名6.3为各组分配一个最小排名6.3为各组分配一个最大排名6.4为各组分配一个稠密度计算后的排名...

Linux下python升级至2.7步骤1 首先下载源tar包我升级到2.7.8下载链接http://python.org/ftp/python/2.7.8/Python-2.7.8.tgz下载完成后放到linux的指定目录下我的在/opt/software目录下2 解压# tar -xvf Python-2.7.8.tgz -C /opt/modules/进入解压后的目录...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/u014106644/article/details/87981538计算机基础课程分享计算机组成原理--哈工大链接: https://pan.baidu.com/s/19JORvDfGKXx5Goj2sIhMRw 提取码: 75z...

目录1：初识Flink1.1 Flink是什么：1.2 unbound/bound data：1.3 API layered：1.4 Flink运行环境多样化：1.5 业界流处理框架对比：1.6 使用案列：1.7 发展趋势：1.8如何高效学习Flink：2快速上手开发第一个Flink程序3编程模型核心及其概念3.1 Flink编程模型...

主要策略： 一 ，读取hbase表数据 二 ，获取rowkey字段，和过滤条件用的字段 三 ，根据过滤条件，只保留需要删除的数据的rowkey 四 ，分批次删除hbase 数据（我这里每个批次10000条）具体代码如下：package ezr.bigdata.spark.hbaseimport java.util.{ArrayList, Li...