- 博客(226)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 centos7中mysql更改数据目录
一、配置mysql首先启动mysqlservice mysqld start设置密码及安全规则mysql_secure_installation这一步骤我只修改了密码，其它安全规则根据需求修改修改配置文件（这里我修改的为/home目录下）datadir=/home/mysqlsocket=/home/mysql/mysql.sock # For advice ...
2018-10-03 02:57:41
1006
原创 Linux服务器释放内存脚本
1)在root目录下创建一个freemem.sh的脚本：vi freemem.sh#!/bin/bashused=`free -m | awk 'NR==2' | awk '{print $3}'`free=`free -m | awk 'NR==2' | awk '{print $4}'`echo "===========================" >>...
2018-09-17 15:06:47
1114
原创 flume启动报错 Could not find or load main class org.apache.flume.node.Application
修改flume的文件夹名称后，启动flume可能会失败，错误信息如下：Error: Could not find or load main class org.apache.flume.node.Application这个是因为环境变量的问题。 export看一下是不是有个FLUME_HOME的环境变量指向原来的文件夹，如果是的话：unset FLUME_HOME 就行了...
2018-09-11 23:51:10
7099
1
原创 怎么在后台执行shell脚本
后台运行脚本执行脚本test.sh:./test.sh 中断脚本test.sh：ctrl+c 在1的基础上将运行中的test.sh，切换到后台并暂停：ctrl+z 执行ctrl+z后，test.sh在后台是暂停状态（stopped）,使用命令：bg number让其在后台开始运行（“number”是使用jobs命令查到的 [ ]中的数字，不是pid）直接在后台运行脚本test.sh:....
2018-09-11 15:36:46
19892
原创 怎同时杀死某个服务的多个进程
1.查看进程ps aux | grep flume | grep -v grep2.进程数ps aux | grep flume | grep -v grep|wc -l3.查进程号ps aux|grep flume|grep -v grep|awk '{print $2}'|xargs4.杀死这个服务的全部进程ps aux|grep flume|grep -v gre...
2018-09-11 15:31:30
1894
原创 用shell写守护进程脚本
一个udhcpd与udhcpc的守护，目前只会用shell模仿编写，还有什么方法可以做守护呢？#! /bin/sh#进程名字可修改PRO_NAME=udhcpcWLAN=ra0 while true ; do # 用ps获取$PRO_NAME进程数量 NUM=`ps aux | grep ${PRO_NAME} | grep -v grep |wc -l`# ...
2018-09-11 15:23:00
4717
原创 服务器CPU异常原因及如何排查
1.查看服务器CPU飙升卡爆，最后发现是服务器在跑挖矿程序，CPU使用率奇高。在此总结一下排查经过。 首选发现CPU飙升，服务器卡死，查看异常进程PID #top #查看各个进程的cpu使用情况，默认按cpu使用率排序 2.结束掉异常进程 #kill -9/15 pid #...
2018-09-10 18:59:01
3497
原创 kafka+flume+hdfs的flume配置文件
#agent命名a1.sources = r1a1.sinks = k1a1.channels = c1#sources配置a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.zookeeperConnect = hadoop1:2181,hadoop2:2181,hadoop3:...
2018-09-10 18:17:36
675
原创 flume对接kafka时延迟和高吞吐量以及flume筛选日志
以下是我的flume配置文件，实现了低延迟，筛选功能# 命名a1.sources = r1a1.sinks = k1a1.channels = c1# sources配置a1.sources.r1.type = execa1.sources.r1.command = tail -F /root/flume.loga1.sources.r1.batchSize=1#a1.s...
2018-09-07 10:58:51
4047
原创 nohup操作
最近没事看了下生产环境下的一些定时任务，发现nohup.out的文件大小都快3~10G了，吓死人！而且还不不断的增加。然后我查了下，此文件也相当于日志文件，就是运行nohup ./XXX.sh &命令时，将项目的日志打印到nohup.out，而且一直是累加的，从不清空，导致十分巨大。我们项目本身就产生日志文件的，所以nohup.out 相当于是重复的。使用nohup创建了一个后台进程，...
2018-09-06 18:38:58
690
原创 设置mysql最大连接数
方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppassword设置新的最大连接数为200：mysql> set GLOBAL max_...
2018-09-04 13:47:05
224
原创 hive中行转列，列转行的使用
一、行转列的使用 １、问题hive如何将a b 1a b 2a b 3c d 4c d 5c d 6变为：a b 1,2,3c d 4,5,6 ２、数据test....
2018-08-28 10:38:02
1611
原创 从mysql用sqoop导入到hive的具体步骤
需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \--connect jdbc:mysql://172.16.71.27:3306/baba...
2018-08-27 13:56:01
1940
原创 写一个sqoop增量导入的shell脚本
每隔2分钟，就往hive中增量导入数据。#!/bin/shexport SQOOP_HOME=/usr/share/sqoop-1.4.4hostname="192.168.1.199"user="root"password="root"database="test"table="tags"curr_max=0function db_to_hive(){ ${S...
2018-08-27 13:53:22
3149
原创 sqoop从mysql到hive导入时分隔符问题
核心参数–check-column 用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时–check-column可以去指定多个列 –incremental 用来指定增量导入的模式，两种模式分别为Append和Lastm...
2018-08-27 13:50:28
3305
原创 sqoop从mysql到hive实现定时增量导入
1、 第一次全量抽取，并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\ --username xxx--password xxx\ --t...
2018-08-27 13:46:39
2859
原创 pycharm远程连接Linux pyspark
1、确保remote端Python、spark安装正确 设置必要的环境变量2、本地Pycharm设置File > Settings > Project Interpreter:Project Interpreter > Add remote（前提：remote端python安装成功）:注意，这里的Python路径为python interpreter p...
2018-08-26 15:53:07
1935
原创 Linux服务器基础配置
1.系统：CentOS 6.4 64位2.关闭防火墙和SELinux service iptables status service iptables stop chkconfig iptables off vi /etc/sysconfig/selinux 设置 SELEINUX=disabled SELINUXTYPE=disable...
2018-08-26 14:19:06
869
原创 Linux服务器配置ssh免秘钥
1.ip与hostname绑定 vi /etc/hosts 192.168.18.111 h1 192.168.18.112 h2 192.168.18.113 h32.免秘钥配置[hadoop@h1 ~]$ ssh-keygen -t rsa[hadoop@h2 ~]$ ssh-keygen -t rsa[hadoop@h3 ~]$ ssh-...
2018-08-26 14:18:19
217
原创 Windows上python2和python3共存
一、对于python刚入门的人都会遇到一个选择问题：选择python2 还是python3，众所周知，python与其它编程语言不一样即新版本与旧版本是不兼容的，最明显的区别就是语法上都存在差异。刚开始入门的时候因为暂时问题需求不是很多，而且因为据说1.支持python2的包比较多 ；2.现有的很多python入门教程都是基于python2； 3.据说python2比较稳定所以选择了python2...
2018-08-25 17:33:30
215
原创 flume连接kafka遇到ERROR - kafka.utils.Logging$class.error Producer connection to DEV33:9092 unsuccessful
1.下面这个问题挺坑的 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - kafka.utils.Logging$class.error(Logging.scala:97)] Failed to collate messages by topic, partition due to: Failed to fetch topic ...
2018-08-24 16:29:14
1670
原创 flume到kafka
1. kafka.properties： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 agent.sources = s1 ...
2018-08-24 10:07:01
742
原创 flume到spark-streaming时遇到Failed to bind to: /IP:PORT错误时解决办法
spark-streaming连接flume时报错org.jboss.netty.channel.ChannelException: Failed to bind to: /IP:PORT连接flume是通过JavaReceiverInputDStream<SparkFlumeEvent> flumeStream = FlumeUtils.createStream(jssc, ...
2018-08-23 22:09:52
1300
1
原创 CHD搭建的环境中，解决用户权限的问题
对CDH用户：对于文件夹/user，注意，这个文件夹的拥有者不是所谓的“root”。实际上，这个文件夹为“hdfs”所有（755权限，这里将hdfs理解为一个属于supergroup的用户）。 所以，只有hdfs可以对文件夹进行写操作。与Unix/Linux不同，hdfs是超级使用者(superuser)，而不是root。 因此更改其权限为root。所以，你可以向这个文件夹随意的存、...
2018-08-23 21:21:02
589
原创 CDH内存分配参考
基于以下环境提供参考值： 5台内存32G、cpu8核的服务器，操作系统为centos6.8 总内存： 160G 总核数： 40核 不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么：值= 推荐值 X 系数hdfs参数 解释 值 NameNode 的 Java 堆栈大小 Java 进程堆栈内存的最大大小,改Java进程主要是：维护整个系统的的文件...
2018-08-22 20:08:31
8483
2
原创 CDH5.15.0升级spark2服务
严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3一、JDK1.7升级到JDK1.8由于之前CDH中安装了spark1.6，为了适配，我安装jdk1.7，但是在spark2.3中jdk1.7的支持已经被移除了，所以我们第一件事需要将jdk版本升级到jdk1.81、停掉所有节点的cloudera manager/opt/cm-5.15.0/etc...
2018-08-22 17:18:41
3821
2
原创 用flume从日志服务器中实时抽数据的案例
日志服务器flume配置文件# example.conf: A single-node Flume configuration# Name the components on this agent# The name of the agent is defined as a1.a1.sources = r1a1.sinks = k1a1.channels = c1# Descr...
2018-08-22 15:46:53
646
原创 flume配置文件案例
案例1《《《《《《source-hive的log,channel-内存,sink:终端》》》》》》# The configuration file needs to define the sources, # the channels and the sinks.# Sources, channels and sinks are defined per a1, # in this ...
2018-08-22 15:42:14
183
原创 flume参数配置详解
一、什么是flumeFlume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二、flume特点flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev...
2018-08-22 15:39:29
9187
1
原创 flume中hdfs sinks参数配置详解
Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channel typehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值：FlumeData写入hdfs的文件名前缀，可以使...
2018-08-22 15:38:21
2181
1
原创 hadoop CDH集群漏洞导致服务器被攻击
一、背景5月5日腾讯云安全团队曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对其中一个案例进行分析并提供响应的安全建议和解决方案。二、漏洞说明Hadoop是一个由Apache基金会所开发的分布式系统基础架...
2018-08-19 17:10:53
3978
原创 服务器被挖矿后如何处理
挖矿会使服务器硬件资源，如：CPU、内存消耗极大，但是一般运维人员处理挖矿攻击时最头疼的就是处理不干净，其实挖矿攻击能够成功主要方式是通过服务器安装的第三方工具内在的对外RestAPI进行的，这些第三方工具如果API存在漏洞就会很大程度被黑客攻击利用开放的端口进行攻击攻击步骤：1.申请新的application直接通过curl进行POST请求curl -v -X POST 'ht...
2018-08-19 17:07:11
7492
原创 服务器CPU异常原因及如何追踪
1.查看服务器CPU飙升卡爆，最后发现是服务器在跑挖矿程序，CPU使用率奇高。在此总结一下排查经过。 首选发现CPU飙升，服务器卡死，查看异常进程PID #top #查看各个进程的cpu使用情况，默认按cpu使用率排序 2.结束掉异常进程 #kill -9/15 pid #...
2018-08-19 17:05:45
3028
原创 在centos7离线安装CDH5.15
一、配置hostname和hosts1. 三台机器分别设置hostname为（需要重启ECS）：master.bd.cn slave1.bd.cn slave2.bd.cn2. 然后三台的/etc/hosts统一配置如下映射：<master.bd.cn的内网IP> master.bd.cn<slave1.bd.cn的内网IP> slave1.bd....
2018-08-14 16:04:16
5446
1
原创 centos7上快速安装mysql
Centos7通过yum安装最新MySQL一：去官网查看最新安装包https://dev.mysql.com/downloads/repo/yum/二：下载MySQL源安装包wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm安装MySql源yum -y install mys...
2018-08-14 12:05:23
28787
9
原创 解决yum安装下载慢的问题
有时候yum下载时速度很慢，会不停的换mirrors，可能到了最后还会安装失败 这时候我们可以考虑清楚缓存并更新 yum clean allyum makecacheyum update然后再重复安装命令就可以了 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/C...
2018-08-09 10:48:25
21578
11
原创 centos7用yum安装mysql
一般在linux下安装mysql 的步骤如下:安装前看是否安装过mysql，yum list installed mysql*如果有就用yum remove卸载mysql查看yum库下是否有mysql-serveryum list | grep mysql 或 yum -y list mysql*如果没有（一般在centos7下没有）wget http://repo.m...
2018-08-09 10:23:06
168
原创 xmind下载及破解
1、首先下载XMind 8 pro压缩包，解压缩后，双机里面的xmind-8-update7-Windows.exe开始安装，点击Next，继续安装。链接: https://pan.baidu.com/s/16Ozn5u2Cjtuk_fBGzlS1_g 密码: t5rc安装完成后需要注意：在XMind主界面左上方找到“编辑”--“首选项”--“常规”，如下图所示,点击“确定”后，关闭X...
2018-08-06 14:04:14
4035
1
原创 python中的判断与循环语句
判断与循环语句：判断语句：if…elif…else >>> if a>= 50:... print 'the number is big'... elif a < 50:... print'the number is small'... else:... print "i don't know"... the n...
2018-07-25 00:00:37
190
原创 判断变量名是否合法的python脚本
(首位为字母或下划线，其他为数字，字母或下划线)#!/usr/bin/env python#coding:utf-8"""file:test2.pydate:8/25/179:15 PMauthor:abothdesc:编写一个python脚本，判断用户输入的变量名是否合法"""import stringstr=raw_input("输入变量名:") ...
2018-07-24 23:46:15
4805
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人