- 博客(88)
- 收藏
- 关注
RSS订阅原创 zmalloc.h:50:31: 致命错误：jemalloc/jemalloc.h：没有那个文件或目录
zmalloc.h:50:31: 致命错误：jemalloc/jemalloc.h：没有那个文件或目录make redis的时候出现异常#执行命令完成安装make MALLOC=libc
2022-04-22 09:49:25
1392
1
原创 windows安装MySQL
1.解压安装包到D:\software2.这时候你需要在根目录下创建两个文件，分别是data文件夹和my.ini文件，然后使用编辑器编辑my.ini文件，并在其中添加[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录basedir=D:/software/mysql-8.0.13# 设置mysql数据库的数据的存放目录datadir=D:/software/mysql-8.0.13/data# 允许最大连接数max_connections=200# 允许
2021-02-19 12:05:49
183
原创 gcc:未找到错误
安装redis时出现了gcc未找到错误解决方案首先确保root登录，然后进行安装 安装命令：yum -y install gcc automake autoconf libtool make
2021-02-18 11:00:18
555
原创 [thread1] Error: listDatabases failed:
mongodb报错 [thread1] Error: listDatabases failed:解决方法> rs.slaveOk()> show dbs
2021-02-18 10:40:46
2504
3
原创 配置hive
1.上传hive的tar包apache-hive-2.3.7-bin.tar.gz2.解压hive的tar包tar -xzf apache-hive-2.3.7-bin.tar.gz3.添加hive的环境变量进入hive的 /etc/profile文件vim /etc/profile添加以下内容#HIVE_HOMEexport HIVE_HOME=/opt/hive-2.3.7export PATH=$PATH:$HIVE_HOME/bin使配置环境生效source /etc/
2021-02-04 22:27:01
106
原创 User: root is not allowed to impersonate root
Error: Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not al
2021-02-04 22:26:22
5978
1
原创 Hadoop完全分布式模式
进入apache官网，查看hadoop的版本，下载tar包（这里使用的是2.7.2版本）也可以进入国内开源镜像网站下载tar包1.解压tar包tar -zxvf hadoop-2.7.2.tar.gz2.进入解压之后的hadoop文件cd hadoop-2.7.23.查看文件安装路径pwd#我的安装路径/opt/hadoop-2.7.24.配置环境变量打开 /etc/profile文件vim /etc/profile添加以下内容#HADOOP_HOMEexport H
2021-02-04 19:44:34
139
原创 MYSQL安装file conflicts with file from package mariadb-libs-1:5.5.65-1.el7.x86_64报错
MYSQL安装file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el6.x86_64 conflicts with file from package mariadb-libs-1:5.5.65-1.el7.x86_64报错此报错是说mysql安装包与mariadb包冲突，那么那么只要删除mariadb包即可。1.查询冲突的内容rpm -qa|grep -i mariadb2.删除冲突的包yu
2021-01-20 23:10:51
3448
2
原创 Shell中的变量
1. Shell中的变量1. 常用系统变量HOME、HOME、HOME、PWD、SHELL、SHELL、SHELL、USER等2．案例实操（1）查看系统变量的值echo $HOME/home/node1（2）显示当前Shell中所有变量：setsetBASH=/bin/bashBASH_ALIASES=()BASH_ARGC=()BASH_ARGV=()**‘’2 自定义变量**1．基本语法（1）定义变量：变量=值（2）撤销变量：unset 变量（3）声明静态变量：r
2020-08-26 16:42:19
127
原创 tez的安装部署
1.下载tez的依赖包：http://tez.apache.orgapache-tez-0.9.1-bin.tar.gz2.上传tez的tar包到linux3.将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下hadoop fs -mkdir /tezhadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez4.解压缩apache-tez-0.9.1-bin.tar.gztar -zxvf
2020-08-20 17:36:02
1230
原创 安装azkaban
1.上传jar包azkaban-executor-server-2.5.0.tar.gzazkaban-sql-script-2.5.0.tar.gzazkaban-web-server-2.5.0.tar.gz2.创建文件存储azkaban解压之后的文件mkdir /opt/azkaban3. 解压azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz、azkaban-web-server-2.5.0.t
2020-08-14 21:13:48
194
原创 安装 redis
redis官网1.上传jar包redis-5.0.8.tar.gz2.解压tar包tar -zxvf redis-5.0.8.tar.gz3.配置环境变量进入/etc/profilevim /etc/profile添加以下内容#REDIS_HOMEexport REDIS_HOME=/opt/redis-5.0.8export PATH=$PATH:$REDIS_HOME/src使配置环境生效source /etc/profile4.进入redis-5.0.8cd .
2020-08-12 18:43:38
184
原创 安装 maven
1.上传tar包apache-maven-3.6.3-bin.tar.gz2.解压tar包tar -zxvf apache-maven-3.6.3-bin.tar.gz3.修改文件名mv apache-maven-3.6.3-bin maven-3.6.34.配置环境变量进入/etc/profilevim /etc/profile添加以下内容#MAVEN_HOMEexport MAVEN_HOME=/opt/maven-3.6.3export PATH=$PATH:$MAVEN
2020-08-12 17:22:58
140
原创 Hadoop-lzo安装编译
Hadoop支持LZO1.环境准备maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）maven安装链接gcc-c++zlib-develautoconfautomakelibtoolyum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool2.上传tar包lzo-2.10.tar.gz3.解压tar包tar -zxvf lzo-2.10.tar.gz4.进入lzo-2.1
2020-08-12 17:07:17
357
原创 安装spark
1.上传tar包spark-2.4.3-bin-hadoop2.7.tgz2.解压tar包tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
2020-08-12 12:04:35
374
原创 安装flume
1.上传jar包 apache-flume-1.8.0-bin.tar.gz2.解压jar包tar -zxvf apache-flume-1.8.0-bin.tar.gz
2020-08-12 10:55:25
140
原创 安装java(jdk)
上传压缩包:jdk-8u221-linux-x64.rpm因为上传的jdk安装包是rpm,所以直接安装即可yum -y install jdk-8u221-linux-x64.rpm查看jdk安装在哪了代码--whereis javacll /usr/bin/javacll /etc/alternatives/javaccd /usr/java/jdk1.8.0_221-amd64/ll配置jdk的环境变量打开 /etc/profile文件vim /etc/profile
2020-08-10 09:23:52
140
原创 安装mysql报错：please install the following Perl modules before executing /usr/bin/mysql_install_db:
安装mysql报错：FATAL ERROR: please install the following Perl modules before executing /usr/bin/mysql_install_db:Data::Dumper原因：缺少依赖包autoconf解决办法：通过yum安装autoconfyum -y install autoconf
2020-08-08 18:40:35
2448
原创 mysql安装报错 with file from package mariadb-libs-1:5.5.60-1.el7_5.x86_64
mysql安装 file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el6.x86_64 conflicts with file from package mariadb-libs-1:5.5.60-1.el7_5.x86_64 报错安装mysql服务器出现报错：此报错是说mysql安装包与mariadb包冲突，那么那么只要删除mariadb包即可。1.查询冲突的内容rpm -qa|grep -i
2020-08-08 18:37:26
1727
原创 Spark性能优化总结
近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下面对一些优化的思路方法进行梳理。优化的目标保证大数据量下任务运行成功降低资源消耗提高计算性能三个目标优先级依次递减，首要解决的是程序能够跑通大数据量，资源性能尽量进行优化。基础优化这部分主要对程序进行优化，主要考虑stage、cache、partition等方面。Stage在进
2020-08-07 20:45:12
223
原创 hive常见错误及解决方案
1.SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT2.连接不上mysql数据库 （1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导入/opt/module/hive/lib的不是这个包。错把mysql-connector-java-5.1.27.tar.gz导入hive/lib包下。 （2）修改user表中的主机名称没有都修改为%，而是修改为localhost3.
2020-08-06 19:30:36
1133
原创 电商常见指标汇总具体参数
有关"人"的指标客服指标名词名词解释用户》 流量（用户）- 成交用户 有关"货"的指标进货销售库存售后有关"场"的指标页面促销销售...
2020-07-22 09:49:45
3429
原创 电商常见指标汇总
具体参数。。。。更新中。。。电商指标整理电商 8 类基本指标总体运营指标：从流量、订单、总体销售业绩、整体指标进行把控，起码对运营的 电商平台有个大致了解，到底运营的怎么样，是亏是赚。站流量指标：即对访问你网站的访客进行分析，基于这些数据可以对网页进行改进， 以及对访客的行为进行分析等等。销售转化指标：分析从下单到支付整个过程的数据，帮助你提升商品转化率。也可 以对一些频繁异常的数据展开分析。客户价值指标：这里主要就是分析客户的价值，可以建立 RFM价值模型，找出那些
2020-07-21 20:28:18
2754
原创 电商用户行为分析
用户行为分析电商用户行为数据多样，整体可以分为用户行为习惯数据和业务行为数据两大 类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏 览页面、页面停留时间以及页面跳转等等，我们可以从中进行流量统计和热门商品 的统计，也可以深入挖掘用户的特征；这些数据往往可以从 web 服务器日志中直接 读取到。而业务行为数据就是用户在电商平台中针对每个业务（通常是某个具体商 品）所作的操作，我们一般会在业务系统中相应的位置埋点，然后收集日志进行分 析。业务行为数据又可以简单分为两类：一类是
2020-07-21 20:08:25
2237
原创 Flink数据抽象及数据交换过程
Flink为了避免JVM的固有缺陷例如java对象存储密度低，FGC影响吞吐和影响等，实现了自主管理内存。flink内存管理大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题：（1）Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存：对象头占了8个，boolean 属性占了1个，对齐填充占了7个。而实际上只需要一个bi
2020-07-21 11:56:25
314
原创 配置免密登录
生成公钥，私钥ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到本地机器上ssh-copy-id loaclhost配置远程连接(我其余的虚拟机有3台，分别是hadoop102，hadoop103，hadoop104，所以我这里配的是我的主机名)ssh-copy-id hadoop102ssh-copy-id hadoop103ssh-copy-id hadoop104然后，其余的节点上，也可以按照这
2020-07-20 17:39:16
289
原创 安装zookeeper高可用
1. 上传tar包2. 解压（可以选择更改名字）# 解压tar包tar -xzvf zookeeper-3.4.13.tar.gz# 改名mv zookeeper-3.4.13/ zookeeper3.修改配置文件拷贝一份cp zoo_sample.cfg zoo.cfg修改配置文件vim zoo.cfg修改内容如下# example sakes.dataDir=/data/zookeeper/zookeeper-3.5.6/data# 集群的配置# server.随机
2020-07-20 17:31:14
233
原创 安装hadoop高可用
进入apache官网，查看hadoop的版本，下在tar包（这里使用的是3.2.1版本）解压tar包tar -zxvf hadoop-3.2.1.tar.gz修改配置文件1.配置：hadoop-env.sh修改JAVA_HOME=/usr/ java/ jdk1.8.0 221- amd642.配置core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" hre
2020-07-20 17:18:43
217
原创 hbase与Hive的集成
告诉hive，hbase放到哪了？export HBASE_HOME=/data/hbase/hbase-2.2.2先登录hbase,在进入hive操作hbase创建表格式例：-- 创建一张表,有两列,key int,另外一个是value string类型CREATE TABLE hbase_table_1(key int, val string)-- 这个代码写死 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'-- hiv
2020-07-20 16:57:10
314
原创 配置hbase
1.上传tar包2.解压tar包# 解压目录tar -xzvf hbase-2.2.2-bin.tar.gz # 删除docs目录rm -rf docs/3.修改:conf/hbase-env.sh4.配置文件:(conf/regionservers )(配置的是regionservers)hadoop102hadoop103hadoop1045.配置文件:(conf/backup-masters )(配置的是masters)(复制的regionservers 新建的)hadoo
2020-07-20 16:53:48
238
原创 配置hive高可用
1.导入hive的tar包2.解压hive的tar包tar -xzf apache-hive-3.1.1-bin.tar.gz3.配置hive将conf/hive-env.sh.template复制为conf/hive-env.sh修改conf/hive-env.sh里的HDOOP_HOME为HADOOP_HOME= /data/hadoop/hadoop-3.2.1(haoop的地址)4.配置conf/hive-site.xml...
2020-07-20 16:44:12
553
原创 flink 知识点总结
1.什么是flink？Flink 能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供 了丰富的时间类型和窗口计算、Exactly-once （就一次）语义支持，另外还可以进行状态管理，并提供 了 CEP（复杂事件处理）的支持。2.Flink 的重要特点？事件驱动List item基于流的世界观在Flink的世界观中，一切都是由流组成的，离线数据是有界限的流;实时数据是一个没有界限的流:这就是所谓的有界流和无界流分层API越顶层越抽象，表达含义越
2020-07-20 09:50:09
7836
1
原创 linux下卸载和安装mysql
卸载mysql查看是否安装mysqlrpm -qa | grep -i mysql删除查询出来的包些包 rpm -e mysql-community-libs-8.0.17-1.el7.x86_64 --nodeps rpm -e mysql-community-server-8.0.17-1.el7.x86_64 --nodeps rpm -e mysql-community-devel-8.0.17-1.el7.x86_64 --nodeps rpm -e mysql-
2020-07-09 13:51:44
702
1
原创 linux中unzip和zip命令用不了的原因
linux中unzip和zip命令用不了的原因是没有安装zip和unzip软件解决具体步骤如下:安装zip和unzip命令:#yum list | grep zip/unzip#yum install zip#yum install unzip成功如果在编译的时候出现错误：gcc : error trying to exec ‘cc1plus’: execvp : No sunch file or directory可以用gcc -v/g++ -v 来查看gcc 版本，会发现没有安装。
2020-07-09 13:44:11
2689
原创 HiveMetaException: Failed to get schema version.
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.Underlying cause: java.sql.SQLException : Access denied for user 'root'@'hadoop101' (using password: YES)错误原因用户xxxxx权限不足进入mysql,查询用户:grant all on *.* to 'root'@'hadoop10
2020-07-07 19:33:38
4139
1
原创 hive启动MetaStore报错解决方案
安装apache-hive-3.1.1时启动hive时出现的错误第一条错误原因：HIVEHOME/lib目录下没有找到mysql−connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql−connector−java−5.1.27−bin.jar下载放到{HIVE_HOME}/lib目录下没有找到mysql-connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql-connector-java-5.1.27-bin.jar下载放到HIVEHOM
2020-07-07 16:47:13
3987
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人