- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 linux内核参数优化
linux内核参数优化主要针对/etc/sysctl.conf文件 /etc/sysctl.conf是一个允许你改变正在运行中的Linux系统的接口。它包含一些TCP/IP堆栈和虚拟内存系统的高级选项，可用来控制Linux网络配置，由于/proc/sys/net目录内容的临时性，建议把TCPIP参数的修改添加到/etc/sysctl.conf文件, 然后保存文件，使用命令“
2016-12-30 16:43:33
671
原创 hive metastore日志中报错message:Metastore contains multiple versions
hive metastore日志中报错：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at o
2016-12-29 15:15:03
2027
原创 redis 参数优化
今天业务部门往codis集群中插入数据，数据量很大几个亿，codis界面看到的Performace:10 OP/s基本为个位数，很慢，后来发现codis proxy的链接数很小， 39 ESTABLISHED不太正常，排查后发现proxy服务器/proc/sys/net/core/somaxconn 对应的值128，我的reids节点都已经设置了，proxy忘记了设置，因为业务访问是链
2016-12-29 15:02:07
345
原创 Linux centOS系统备份还原(dd+rsync方式)
Linux系统备份是非常重要的，尤其是对一些关键的单点业务，下面将说说采用简单的工具进行备份，实用派。一、rsync备份系统rsync -Pa 备份源目录 备份到位置 rsync -Pa / /media/youxia/usb/backup_20141216 --exclude=/media/* --exclude=/sys/* --exclude=/proc/* --exclud
2016-12-23 16:56:52
13788
转载 使用python抓取分析链家网二手房数据
python抓取链家网北京二手房数据，使用requests+BeautifulSoup的方法对页面进行抓取和数据提取。通过使用requests库对链家网二手房列表页进行抓取，通过BeautifulSoup对页面进行解析，并从中获取房源价格，面积，户型和关注度的数据。整体共两个py文件，第一个是获取数据，第二个是处理分析数据一、获取数据并保存为csv文件#!/usr/bin/p
2016-12-23 11:00:33
9391
7
原创 CentOS6安装MySQL HA架构部署(MySQL + Heartbeat + DRBD)
Heartbeat + DRBD安装配置参考：CentOS6安装NFS HA架构部署(NFS + Heartbeat + DRBD)这里只说下mysql的安装方法Mysql的编译安装（默认都是双台配置）这里选取的是mysql-5.6.33进行源码编译安装。yum -y install make gcc-c++ cmake bison bison-devel ncurses
2016-12-19 17:09:09
516
原创 backtype.storm.event [ERROR] Error when processing event
storm节点supervisor服务异常停止挂了backtype.storm.event [ERROR] Error when processing event报错信息：2016-12-16T03:12:06.109+0800 [Thread-3] backtype.storm.daemon.supervisor [INFO] Downloading code for storm i
2016-12-16 11:10:34
824
原创 CentOS6安装NFS HA架构部署(NFS + Heartbeat + DRBD)
因业务需求，使用NFS共享服务，为了降低硬件故障导致的服务不可用，使用NFS + Heartbeat + DRBD架构实现NFS高可用。一、安装配置drbd1、测试环境：CentOS 6.4主testserver2.bj 10.111.32.51 挂载sdb1 10G备testserver3.bj 10.111.32.52 挂载sdb1 10GHeartbeat虚拟IP
2016-12-14 19:43:16
2536
转载 kafka性能调优
主要优化原理和思路kafka是一个高吞吐量分布式消息系统，并且提供了持久化。其高性能的有两个重要特点： 利用了磁盘连续读写性能远远高于随机读写的特点； 并发，将一个topic拆分多个partition。要充分发挥kafka的性能，就需要满足这两个条件kafka读写的单位是partition，因此，将一个topic拆分为多个partition可以提高吞吐量。但
2016-12-05 11:08:03
3089
Python深度学习（Deep Learning With Python中文版）
2018-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人