- 博客(134)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Linux 服务器时间同步
本文学习一下调整linux系统时间和时区，以及与Internet时间同步一、修改时区： cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime修改为中国的东八区 vi /etc/sysconfig/clock UTC=false ARC=false二、配置新的时间 日期设定： date -s 2008/05/06时间
2016-12-15 10:47:56
700
原创 Mysql 数据库复制
为了搭建一个测试环境，需要完全复制一个目前的线上MySQL数据库。 方法如下：假设已经存在的数据库名字叫db1，想要复制一份，命名为db2。步骤如下： 1. 首先创建新的数据库bd2登录服务器，进入mysql 命令行：mysql>CREATE DATABASE `bd2` DEFAULT CHARACTER SET UTF8 COLLATE UTF8_GENERAL_CI;进入服务器命令行，使
2016-12-08 16:32:52
677
原创 kafka 常用命令
本人kafka 版本：kafka_2.11-0.10.1.01.查看topic 列表： ./kafka-topics.sh --zookeeper localhost:2181 --list//以下以 test 为topic 名称为例 2.创建topic ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-fac
2016-12-07 20:49:14
727
原创 Kafka 学习应用笔记(一)
准备重构公司的日志系统，公司目前有多台的服务器在提供服务，产生日志。如果把日志记录在每个服务器，就要每天设置定时任务，把日志同步到一起，再整合起来，也不便于实时分析。。。。。。 反正感觉有各种不便，于是决定全用kafka。 每台服务器都相当于是一个producer, 然后部署一个kafka cluster，就可以实时接收这些服务器的日志，后续扩展也没有任何问题。但之前由于自己对kafka还没有在
2016-12-02 14:36:56
443
原创 mysql 导入导出csv命令
导出select * from test_info into outfile '/tmp/test.csv' fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n'; 导入load data infile '/tmp/test.csv'
2016-11-07 17:03:04
1779
原创 mac iterm2 打开Linux 服务器文件乱码
我的mac 上用是iterm2终端, Shell 环境是zsh。ssh 到Linux 服务器上查看一些文件时，中文乱码。 这种情况一般是终端和服务器的字符集不匹配，MacOSX下默认的是utf8字符集。解决方案如下：输入locale可以查看字符编码设置情况，而我的对应值是空的。 而默认的.zshrc没有设置为utf-8编码，所以本地和服务器端都要在.zshrc设置，步骤如下，bash对应.bas
2016-10-22 14:32:30
7352
原创 Mac Item2 SSH免密登录Linux 服务器的两种方式
mac ssh登录linux服务器 的两种方式： 一、 使用item2的profiles 和expect脚本 配置步骤： 1. 写一个expect脚本#!/usr/bin/expect set timeout 30 spawn ssh [lindex $argv 0]@[lindex $argv 1] expect { "(yes/no)?"
2016-10-15 16:50:44
27758
原创 Nodejs Express初学
刚好要在公司的一个数据展示项目（Nodejs开发）开发点东西，顺便学习一下nodejs 的express框架。假定我们安装好了nodejs 的环境（Windows下）.安装express 全局安装npm install --g expressnpm install -g express-generator安装完成可以express -V(大写的) 查看express版本使用express
2016-09-30 11:24:09
807
原创 Vim 缩进总结
在linux上编辑文件时，有时候从别的地方copy过来的代码要缩进，如果一行一行的搞，忒麻烦耗时了，下面是自己使用中不同模式下的一些缩进快捷方法：一、 normal 模式下 >> 当前行增加缩进 << 当前行减少缩进或者 :10,100> 第10行至第100行缩进 :20,80< 第20行至第80行反缩进二、 Visual 模式下 normal 模式下按v 即进入VISUAL模式
2016-08-26 14:54:07
18056
原创 mysqldump用法
命令行下具体用法如下： mysqldump -u用戶名 -p密码 -d 數據库名 表名 脚本名;1、导出數據库為dbname的表结构（其中用戶名為root,密码為dbpasswd,生成的脚本名為db.sql）mysqldump -uroot -pdbpasswd -d dbname >db.sql;2、导出數據库為dbname某张表(test)结构mysqldump -uroot -pd
2016-08-24 19:07:33
463
原创 Nodejs Blob流方式下载
在做项目的过程中需要根据查询出的数据直接用csv方式下载，但是数据量较大时用dataURL方式下载会报下载失败，但后台与前台代码均无报异常，尝试用Blob流下载发现没有这个问题，Blob下载代码如下：var fileName = 'test.csv';var aLink = document.createElement('a');var csvData = "test,test2\r\n123,
2016-08-23 14:16:46
8789
1
原创 Linux 命令之 sed
sed stream editor的缩写. 流编辑器，用程序的方式来编辑文本，相当的hacker啊。 sed基本上就是玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。AWK之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符, 是贝尔实验室1977年搞出来的文本出现神器
2016-07-26 17:20:37
461
原创 Windows下nginx + tomcat 配置
写了一个 webservice 服务，给其他系统测试使用，如果直接在eclipse里启动，自己编写代码时，就会影响别人使用，于是搭了一个nginx供其他开发人员使用。网上大部分教程人都有这个说明： Tomcat服务器作为一个Web服务器，其并发数在300-500之间，如果有超过500的并发数便会出现Tomcat不能响应新的请求的情况，严重影响网站的运行。另外，在访问量大的情况下，Tomcat的线
2016-07-20 09:09:30
3877
原创 Java 数字格式化 DecimalFormat
我们有时候会需要把数据转成想要的格式，Java 提供的 DecimalFormat 类可以很方便的进行此类操作。DecimalFormat 类主要靠 # 和 0 两种占位符号来指定数字长度。 0 表示如果位数不足则以 0 填充，# 表示只要有可能就把数字拉上这个位置java 7 注释： DecimalFormat is a concrete subclass of NumberFormat t
2016-07-18 10:18:24
982
原创 Centos 7 之 systemctl
systemctl 是 centos 7 引入的新特性。 systemctl - Control the systemd system and service managersystemctl是 Systemd 的主命令，用于管理系统。主要负责控制systemd系统和服务管理器.一、常见用法：systemctl is-enabled servicename.service #查询服务是否开机启
2016-06-06 14:24:29
1530
原创 mysql ibdata1文件清理
今天查看一台服务器时，根目录磁盘快滿了，因为大部分空间挂载在/home目录下，所以根目录空间只有50G,于是用du -sh –max-depth=1 进入要目录下一级一级的查找，/var/lib/mysql/ibdata1 这个文件有11G, 其实早知道是单个文件这么大,用find -type f -size +2G 这样的命令就很快的查出来了。因为这个mysql只是服务器提供自己分析一些日志时使用
2016-06-05 17:21:45
6160
1
原创 Python datetime模块使用
Python的time 模块功能有限，计算日期的加减的时还是用datetime比较方便首先 import datetime 当然也可以 from datetime import datetime from datetime import timedelta 的方式引入以下代码均是在linux python 命令行输入显示： 一、string转datetime str = ‘2012
2016-06-01 14:54:02
4369
原创 Linux 中括号 双中括号 的区别
单中括号 [ ] a. [ ] 两个符号左右都要有空格分隔 b. 内部操作符与操作变量之间要有空格：如 [“a” = “b” ] c. 字符串比较中，> < 需要写成> \< 进行转义 d. [ ] 中字符串或者${}变量尽量使用”” 双引号扩住，以避免值未定义引用而出错 e. [ ] 中可以使用 –a –o 进行逻辑运算 f. [ ] 是bash 内置命令：[ is a
2016-05-23 14:10:06
14885
3
原创 Python 发邮件服务
最近要监控下写的某些脚本，因为短信通知一般都不是免费的，所以还是发邮件比较简单，并且找到一种变相收到短信的方法。 163 绑定邮箱后可以开通手机号码邮箱，然后在设置里开通免费短信通知服务，这样当监控邮件发送到邮箱时，手机就会收到短信了。哈哈。。。。因为邮件服务是一个公用服务，为方便调用。可以把这个邮件模块放在PYTHONPATH下：python 定位模块的机制：当你导入一个模块，Python解析
2016-04-22 16:17:55
864
原创 余弦相似度
一、 概念与定义 余弦相似度，又称为余弦相似性。通过计算两个向量的夹角余弦值来评估他们的相似度余弦值的范围在[-1,1]之间，值越趋近于1，代表两个向量的方向越趋近于0，他们的方向更加一致。相应的相似度也越高二、 主要应用 最常见的应用就是计算文本相似度。将两个文本根据他们词，建立俩个向量，计算这两个向量的余弦值，就可以知道两个文本在统计学方法中他们的相似度情况。实践证明，这是一个非常有效的方法
2016-03-20 13:26:45
2128
原创 Mysql调优之Explain extend
mysql中有一个explain 命令可以用来分析select 语句的运行效果，例如explain可以获得select语句使用的索引情况、排序的情况等等。除此以外，explain 的extended 扩展能够在原本explain的基础上额外的提供一些查询优化的信息，这些信息可以通过mysql的show warnings命令得到。一、语法EXPLAIN [EXTENDED] SELECT select
2016-03-13 17:10:09
17490
2
原创 Linux grep 命令查看符合条件文本的相近几行
查日志时，grep 到自己想要的行之后，还想看下符合条件的附近日志记录man grep 发现果然已经有这个参数Context Line Control -A NUM, --after-context=NUM Print NUM lines of trailing context after matching lines. Places a line containing a
2016-03-02 09:55:40
2930
原创 Linux命令之at CTRL+D使AT命令生效
在之前的工作中，一般都是用crontab 去定时执行一些重复的任务，但今天遇到了只需要执行一次的任务，晚上11点定时执行一个脚本处理一个临时的任务。本想加在crontab中，明天上班时再执行就行了，可感觉这样有点多余。google一下，立马就找到了at命令，然后就看别人的at命令详解。几乎都大同小异，copy过来，copy过去而已（额，貌似自己也干过）问题是很多例子都类似下面这们：
2016-02-16 11:32:08
3649
原创 Python 读取大文件
最近在用python处理日志分析数据，但是有些文件比较大，几个G,如果用linecache 或 都直接open整个文件，readlines 都容易导致占用过多内存，导致程序停止执行。Google了一下，python读取大文件的方法有以下几种：个人推荐第一种，实测程序跑得刚刚的。一、 用with 读取大文件with读取是非常Pythonic的方法，示例如下：
2016-01-07 15:51:35
1762
1
原创 Spark 日志配置
在使用spark 环境开发时，有时为了方便，需要pyspark环境下执行一些代码，但默认的日志级别是INFO, 这样会输出超级多的日志，界面一几乎是一直在刷屏状态。可以调一下日志的输出级别。一、修改日志配置在$SPARK_HOME/conf 下找到 log4j.properties.template，复制一份到新文件log4j.properties 可直接修改文件名称为log4j.pr
2015-12-28 15:21:57
2404
原创 Linux/Unix下安装MySQLdb的简单方式
如果直接下载MySQLdb 的 二进制包进行安装，安装过程中可能会出现各种各样的错误：E: Unable to locate package libmysqld_devImportError: No module named setuptools_mysql.c:2886: error: expected '{' at end of input error: command
2015-12-23 16:15:39
1641
原创 Linux 安装 windows 字体
做了一个项目，其中有一个图片合成的步骤，合成的过程中在图片上添加文字用到 微软雅黑 字体 Font f = new Font("Microsoft Yahei UI",Font.TRUETYPE_FONT ,20);在windows 下开发测试肯定是没有问题的，但把项目部署到Linux服务器上时，就会发现合成的图片上的汉字都是一个长方形乱码。 Linux上默认是没有Microsoft 的字体造成的
2015-11-10 14:35:37
7038
原创 Linux parted 分区及挂载
系统为CentOS 6.5，别人装的系统，硬盘是4TB的，但df -h发现只有一个1TB，于是自己着手去分区。网上查了很多资料，有的只专讲parted，并没有讲用parted分区后如何挂载。本文不详细讲每个命令，只分享下自己分区并挂载可用的步骤。查看现有分区 parted -l[root@localhost ~]# parted -l Model: DELL PERC H730 Mini (sc
2015-11-05 21:20:27
20581
原创 Linux memcached安装
一、 下载安装包 可以去memcahed 官网：http://memcached.org/进行下载另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libevent，libevent的最新版本是libevent-1.3。（如果你的系统已经安装了libevent，可以不用安装） 官网：http://libevent.org/ 测试libevent是否安装成
2015-11-04 15:43:16
762
原创 python str和repr 的区别
一、 文档说明 str str(object=”) -> string Return a nice string representation of the object. If the argument is a string, the return value is the same object. 返回一个可以表示对象的友好的可打印的字符串。对于字符串则
2015-11-01 16:52:20
2220
原创 Mac OS X 安装pip , ipython
mac 已经自带python,我的mac 系统是yosemite, 自带python版本是2.7.10.但是ipython要自己安装，网上有很多方法，但没有一个简单并能很快解决问题的。本人将今天自己安装ipython的步骤简单记录如下： 本人是通过pip安装ipython，pip是python的包管理工具一、安装 pip mac默认是不带pip的，所以第一步要先安装pip。 sudo eas
2015-11-01 15:52:55
104151
原创 Mac 自带shell 与 iTerm2 快捷键
iterm 2 快捷键一、标签 新建标签：command + t 关闭标签：command + w 切换标签：command + 数字 command + 左右方向键 切换全屏：command + enter 查找：command + f二、分屏 垂直分屏：command + d 水平分屏：command + shift + d 切换屏幕
2015-11-01 11:55:02
7425
原创 Python操作mysql
本文只讲解python如何对mysql进行增删改查操作。python 操作mysql 一般需要依赖 MySQLdb 库,如果未安装，则需要根据自己的系统环境去安装相应的MySQLdb 版本。MySQLdb 是用于Python链接Mysql数据库的接口，它实现了 Python 数据库 API 规范 V2.0，基于 MySQL C API 上建立的。一、 创建连接#!/usr/bin/python
2015-10-29 11:12:46
1670
转载 shell 条件判断
一、 二元比较操作符,比较变量或者比较数字.注意数字与字符串的区别.1.整数比较 [cpp] view plaincopyprint?-eq 等于,如:if [ "$a" -eq "$b" ] -ne 不等于,如:if [ "$a" -ne "$b" ] -gt 大于,如:if [ "$a" -gt "
2015-09-22 20:41:13
466
转载 javascript 带千分号显示数字
第一种方法：将数字转换成字符串进行处理。function formatNumber(num) { var decimalPart = ''; num = num.toString(); if (num.indexOf('.') != -1) { decimalPart = '.' + num.split('.')[1]; num = parseInt(num
2015-08-22 16:01:33
2765
原创 Linux 命令之grep
grep 命令1、用法：grep -[acinv] '要搜索的字符串' filename-a 以文本文件方式搜索-c 计算找到的符合行的次数-i 忽略大小写-n 顺便输出行号-v 反向选择，即显示不包含匹配文本的所有行 -h 查询多文件时不显示文件名。 -l 查询多文件时只输出包含匹配字符的文件名。 -s 不显示不存在或无匹配文本的错误信息。 gre
2015-08-17 20:13:58
1556
原创 python 操作mysql 中文乱码
1、 首先检查连接mysql时是否正确设置字符集。 如果两边字符集相同，一般不会有乱码问题。db=MySQLdb.connect(host='localhost',user='root',passwd='123456',db='testdb',charset="utf8")2、如果还有问题，可以继续查看是否有以下问题：Python文件设置编码 utf-8 （文件前面加上 #
2015-08-11 10:11:12
535
原创 Linux Shell 中的反引号(`)，单引号(')，双引号 (")
反引号 ` 位于键盘的Tab键的上方、1键的左方。注意与单引号(‘)位于Enter键的左方的区别。 在Linux中起着命令替换的作用。 命令替换是指shell能够将一个命令的标准输出插在一个命令行中任何位置。 如下，shell会执行反引号中的date命令，把结果插入到echo命令显示的内容中 [root@localhost sh]# echo The dat
2015-08-05 15:32:35
1113
原创 Hive array字段 查询过滤
如果一个hive 表的一个字段 Ａ 是array类型，里面存在多个值，如果要对其中的某个值进行过滤，那么可以用lateral view 结合UDTF (User-Defined Table-Generating Functions) 来进行过滤Lateral View语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS colu
2015-08-04 17:13:12
12831
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人