- 博客(25)
- 收藏
- 关注
RSS订阅原创 使用tar包在centos7安装mysql5.7全攻略
使用tar包离线在centos7安装mysql网上攻略博客很多，我只写我安装成功的过程下载tar包在本地解压到安装目录，重命名为mysql：在mysql里面新建data目录卸载默认的mariadb以及看是否安装MySQL，如果安装有要卸载：创建mysql用户以及赋予权限：给目录以及data目录权限编辑my.cnf到/etc/下[mysql]# 设置mysql客户端默认字符集default-character-set=utf8[mysqld]ski
2021-01-04 17:42:32
164
原创 crontab无法执行定时任务的问题：/var/spool/cron/#tmp.root.XXXXEzRLBb: Permission denied
问题描述买了青云的云主机，被木马程序占了，过几个小时都会把我CPU全部占满，内存也占了70%多，一看原来是后台一个程序：这个垃圾程序，那它没什么好办法，有能帮忙解决的请私信我，万分感激！然后我只能写个脚本去kill它，但是不能总手动执行，于是我搞了个定时任务，但是出了一个小问题，报错见图：提示没有权限，但是我的脚本是root用户执行的，就很奇怪，然后查阅了一些博客，解决方法如下：首先去/var/spool/cron的目录，看有问题没，我的里面没有文件，然后编辑一个新文件vim a，随便输入保存
2020-12-23 21:53:16
3087
1
原创 定位：java.lang.VerifyError: Stack map does not match the one at exception的莫名错误
关于错误不说废话，直接上错误图：然后就去各种定位，搜索这个错误，都没查出个所以然来，然后往下翻，看到一堆莫名其妙的输出日志：我总觉得这是个突破口，然后就从这个方向去搜，终于找到了问题所在。问题原因JVM加载class文件时会做字节码校验（bytecode verification）。如果你的class文件是由java源文件通过javac编译出来的，那么基本上不用担心bytecode verification。 如果class文件是由asm、cglib等动态生成出来的或者由其它编译器生成的，那么
2020-12-21 22:06:02
1054
原创 云主机搭建hadoop namenode报错:Problem binding to java.net.BindException: Cannot assign requested address
问题描述 我的环境是云主机环境，有内网和外网两个IP问题如图所示：查阅了很多地方，判断应该是host配置问题，但是一直没有解决，然后看到一篇帖子：https://blog.csdn.net/weixin_44847293/article/details/110285609看到了core-site.xml的IP要设置为内网的IP，之前我一直设置为外网的IP，更换了端口都不行，修改为内网IP后，重新格式化再启动，即可成功启动hadoop的namenode注意：我的/etc/hosts设置为
2020-12-02 08:22:16
746
原创 关于kafka的Cannot assign requested address
云主机配置kafka启动失败报错如图定位后发现使用的是云主机，有内网IP和外网IP，虚拟机对外ip[暴露的ip]和真实ip[ifconfig显示的ip]可能只是映射关系，用户访问对外ip时，OpenStack会转发到对应的真实ip实现访问。但此时如果 Kafka server.properties配置中的listeners=PLAINTEXT://对外IP:9092中的ip配置为[对外ip]的时候无法启动，因为socket无法绑定监听；先查看内网IP：在kafka的server.properti
2020-12-01 11:31:12
1014
1
原创 关于IDEA2020.2.3版本显示scala数据类型的设置
关于IDEA2020.2.3版本显示scala数据类型的设置原来的设置是如图但是现在的新版本这个地方不在了原来是搬到这里了勾选上就OK了。
2020-11-20 10:04:45
981
1
原创 关于Git push错误：error: failed to push some refs to
问题情况想把本地库同步到github上，出现以下错误：解决方法这个问题是远程库和本地库不一致导致的，需要把远程库同步到本地库就可以了git pull --rebase origin(我的远程库名) master(本地库分支)这条指令的意思是把远程库中的更新合并到本地库中，–rebase的作用是取消掉本地库中刚刚的commit，并把他们接到更新后的版本库之中。接着再次push到远...
2019-10-21 08:00:19
186
原创 Flink编程遇到的小坑
Flink导包倒错首先是错误现场，如图所示：就是报错，搞得我很郁闷，查了半天，才发现包导错了没有注释的是javaAPI的包注释的是ScalaAPT的包换成下面的包后，如图：思考：才开始学flink 没注意到 犯了错误记录在此 提醒自己...
2019-09-19 13:28:43
412
原创 冒泡排序及java代码
排序介绍思路：依次比较相邻的两个数，将小数放在前面，大数放在后面。即在第一趟：首先比较第1个和第2个数，将小数放前，大数放后。然后比较第2个数和第3个数，将小数放前，大数放后，如此继续，直至比较最后两个数，将小数放前，大数放后。重复第一趟步骤，直至全部排序完成。第一趟比较完成后，最后一个数一定是数组中最大的一个数，所以第二趟比较的时候最后一个数不参与比较；第二趟比较完成后，倒数第二个数也一...
2019-08-28 15:58:47
258
原创 快速排序及java代码
快速排序基本思想随机找出一个数，可以随机取，也可以取固定位置，一般是取第一个或最后一个称为基准，然后就是比基准小的在左边，比基准大的放到右边，如何放做，就是和基准进行交换，这样交换完左边都是比基准小的，右边都是比较基准大的，这样就将一个数组分成了两个子数组，然后再按照同样的方法把子数组再分成更小的子数组，直到不能分解为止。排序思路给定一个数组，如上图所示，规定low,high两个位置，这...
2019-08-28 15:50:38
116
原创 MySQL报错ERROR Can't connect to local MySQL server through socket '/usr/local/mysql/data/mysql.sock'
ERROR描述今天启动MySQL发现报错如下：我是用tar包安装的MySQL，版本是5.7x解决如下输入下面的命令，启动MySQL记得中间要按一次回车键，这样再登录MySQL就没问题了...
2019-08-17 14:46:08
3197
1
原创 MySQL5.7主从架构（读写分离）部署
MySQL5.7主从部署一、准备工作从官网下载MySQL的tar包，链接如下：https://dev.mysql.com/downloads/mysql/5.7.html#downloads我的环境是CentOS7，将tar包解压放在/usr/local/ 下，如图：到目录里面创建两个文件夹 arch tmp创建mysqladmin用户来操作MySQL，步骤如下：这里会有个问...
2019-08-02 16:42:30
469
原创 针对数据倾斜利用repartition提升spark运行性能
前言今天在做个小测试的时候，查看webUI发现一个很明显的数据倾斜情况，针对这个问题，做了个测试，发现确实可以提升spark运行效率，解决数据倾斜的问题，特此记录诱因我要知道2到2000000之间所有的质数，于是代码如下：package com.yxw.Testimport org.apache.spark.{SparkConf, SparkContext}object demo0...
2019-07-15 17:33:53
1385
原创 使用BoneCP创建连接池将sparkstreaming数据写入MySQL
准备首先我们去maven repository查找BoneCP的依赖：添加到pom.xml中我的kafka版本是0.10 spark版本是2.4.2 由于是实验性质的 所以就不打包在linux上了 直接在IDEA上跑开始工作首先 我在MySQL的G6数据库建立一张新表kafka_test_tblcreate table kafka_test_tbl( timeseq varchar...
2019-07-13 11:59:42
332
原创 Spark的kryo性能测试以及RDD持久化级别
MEMORY_ONLY代码如下package com.yxw.Testimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.{FileSystem, Path}import org.apache.spark.{SparkConf, SparkContext}object KryoTest000 ...
2019-07-10 16:22:16
178
原创 记一次yarn的resourcemanager无法启动的事件
背景介绍：本来想研究一下yarn的，所以特意把hadoop的服务启动，但是发现一个问题，resourcemanger一直无法启动：我跑去看log，如图：原来是我的8088端口被占用了，这就奇怪了，我顺手把报错放到百度去查，发现看了一圈都没有合适的答案，于是我想着算了算了，我先看看这个端口被什么进程占用把，一看不知道，原来是被这家伙占了：前一段时间搞的influxdb，赶快把它停止了:...
2019-07-06 13:57:43
2204
原创 CentOS7环境下安装kibana及遇到的问题
一、安装准备下载和Elasticsearch版本相同的kibana，我的版本是6.62解压到指定目录二、配置yml文件在config目录下的yml文件 ，修改：接着切换到不是root账户下启动bin/kibana发现报错：原来是权限问题，于是重新给权限：再次启动：跑去http://node03:5601看看：没有问题，安装部署成功...
2019-07-05 14:29:48
753
原创 Elasticsearch6.62报错ERROR: [1] bootstrap checks failed
神奇的问题昨天还好好的ES，今天想把kibana装了，结果启动ES却没有启动，各种报错，记录下来，以便今后查询报错的截图如下：一下子报这么多错误，这谁顶得住啊，我一开始都不知道查哪个错误好，仔细看第一个报错，好像是文件取不到，估计是没权限，但是奇怪的是我权限已经设置好的，不管了，还是切换回root用户，从新给权限：chown -R elsearch:elsearch /usr/l...
2019-07-05 14:01:19
522
原创 Elasticsearch6.62安装-基于CentOS7
一.前期准备1.下载链接：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz2.下载后解压到指定目录：3.到解压目录下修改elasticsearch.yml文件：二、启动遇到一系列问题1)问题一：问题很明显，不该用root启动es，于是创建一个用户：grou...
2019-07-04 11:18:56
164
原创 flume连接hdfs和kafka
flume连接hdfs和kafka练习一、flume连接hdfs情况选型是source端使用taildirchannel端使用file channelsink端使用hdfs脚本文件如图：运行flume-ng，如下：往flume 监控的文件taildir_test.data写入数据：等待控制台的输出命令：登录HDFS查看，发现已经写入：肯定有人要问了：memory ch...
2019-06-21 16:02:05
841
原创 编译spark2.4.2-bin-2.6.0-cdh5.7.6
记录自己编译spark的过程一、环境1.hadoop环境为：Hadoop 2.6.0-cdh5.7.62.Scala环境为：Scala code runner version 2.11.123.jdk环境为：1.84.maven环境为：Apache Maven 3.6.15.spark版本为：spark-2.4.2.tgz二、配置maven在maven的conf目录下的setti...
2019-06-16 18:09:48
239
原创 hive的一个报错解决org.apache.hadoop.hive.ql.metadata.HiveException:记录
遇到问题解决方法：1.首先在hive的conf目录下的hive-site.xml配置如下<property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property>...
2019-06-15 10:38:36
20540
8
原创 IDEA 运行时报Exception in thread "main" java.lang.AbstractMethodError解决方法
今天我在使用sparksession时候 IDEA报异常如下：Exception in thread “main” java.lang.AbstractMethodError百思不得其解 ，后来发现是我的pom文件 spark core和spark sql 版本不一致导致的我的spark core版本是2.3.3的，而spark sql 版本则是 2.1.1。本着就高不就低的原则 我把sp...
2019-05-22 09:35:59
8304
原创 用scalikejdbc3.3.2版本使用scala来操作MySQL数据库
使用scalikejdbc操作MySQL数据库关于scalikejdbc：一、在IDEA中导入scalikejdbc的依赖二、在resources下添加文件：在里面编辑：三、在数据库下创建一张user的表：四、首先是插入10条数据：DBs.setupAll()val person:List[user] = List ( user(1,"simayi",54), ...
2019-05-08 17:39:16
236
原创 用shell伪造数据
用shell伪造日志数据关于日志数据字段语法分析定义循环数据的数量查看结果写在前面：由于今后的开发测试需要，因而要伪造一份日志数据来进行操作，故研究了怎么解决没有测试数据的问题，由于最近在看shell，于是决定用shell来造一份数据关于日志数据首先我们要看需要的数据内容有：字段解释：baidu:CDN的来源CN：国家的缩写A：不用管E：等级情况，从A到N[17/7/2018:...
2019-05-08 15:46:13
542
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人