- 博客(751)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 python实例pyspark以及python中文显示
%pyspark#查询认证用户import sys#import MySQLdbimport mysql.connectorimport pandas as pdimport datetimeimport timeoptmap = { 'dbuser' : 'haoren',
2017-09-01 17:49:16
4723
1
转载 python实现进度条
import sysimport timedef view_bar(num, total): rate = num / total rate_num = int(rate * 100) r = '\r[%s%s]%d%% ' % ("="*num, " "*(100-num), num, ) sys.stdout.write(r) sys.stdout
2017-08-30 22:26:29
1534
1
转载 python脚本实例
cat DBConnector.py#!/usr/bin/env python# -*- coding: utf-8 -*-# haoren @ 2017-08-21 21:33:05import mysql.connectorfrom logger import loggingclass DBConnector: #定义一个类 "数
2017-08-28 18:19:33
4631
原创 python数据统计脚本实例mysql,redis
#!/usr/bin/env python#-*-coding:utf-8-*-import redisimport sysimport MySQLdbimport timeimport osimport os.pathimport refrom decimal import *######################MySQLdb开始#####
2017-08-24 16:02:49
1163
转载 docker的网络架构配置
默认情况下，容器可以建立到外部网络的连接，但是外部网络无法连接到容器。Docker 允许通过外部访问容器或容器互联的方式来提供网络服务外部访问容器:容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过 -P 或 -p 参数来指定端口映射。大写的“P”表示随机分配端口和docker容器内的端口进行映射，小写的“p”表示指定端口和d
2017-08-08 17:57:40
778
转载 Docker指定网桥和指定网桥IP
$ docker network lsNETWORK ID NAME DRIVER7fca4eb8c647 bridge bridge9f904ee27bf5 none nullcf03ee007fb4 host
2017-08-08 15:18:05
8083
转载 spark--python数据分析脚本
%pyspark#用户消费查询import sysimport MySQLdbimport pandas as pdimport datetimeimport timeimport urllibimport urllib2optmap = { 'dbuser' : 'game', 'db
2017-08-04 17:57:16
975
转载 Docker端口映射
为什么要端口映射？在启动容器时，如果不配置宿主机器与虚拟机的端口映射，外部程序是无法访问虚拟机的，因为没有端口。端口映射的指令是什么？docker指令：docker run -p ip:hostPort:containerPort redis使用-p参数 会分配宿主机的端口映射到虚拟机。 IP表示主机的IP地址。 hostPo
2017-08-03 16:04:43
65738
2
转载 docker容器里安装ssh
docker安装ssh通过命令行安装1.pull ubuntu镜像docker pull ubuntu:latest2.启动并进入bashdocker run -it -d ubuntu:lastest /bin/bash# 查看刚刚运行容器的iddocker ps# 在容器中执行bash命令docker exec -it id /bin/b
2017-08-03 14:35:58
11873
2
转载 Docker容器固定IP分配
我们在使用docker run创建Docker容器时，可以用--net选项指定容器的网络模式，Docker有以下4种网络模式：host模式，使用--net=host指定。container模式，使用--net=container:NAME_or_ID指定。none模式，使用--net=none指定。bridge模式，使用--net=bridge指定，默认设置
2017-08-02 21:54:49
8604
转载 docker基础知识之挂载本地目录的方法
Docker可以支持把一个宿主机上的目录挂载到镜像里。docker run -it -v /home/dock/Downloads:/usr/Downloads ubuntu64 /bin/bash通过-v参数，冒号前为宿主机目录，必须为绝对路径，冒号后为镜像内挂载的路径。 现在镜像内就可以共享宿主机里的文件了。默认挂载的路径权限为读写。如果指定为只读可以用：
2017-08-02 17:07:42
16319
转载 Docker修改空间大小
Docker默认空间大小分为两个，一个是池空间大小，另一个是容器空间大小。池空间大小默认为：100G容器空间大小默认为是：10G所以修改空间大小也分为两个：这里使用centos下的yum进行安装的Docker。 首先，修改空间大小，必需使Docker运行在daemon环境下，即先停止正在运行的docker服务：service docker stop
2017-08-01 22:13:45
37864
4
转载 docker笔记
一、windows 7下安装docker1、下载Docker Toolbox，下载地址：https://www.docker.com/products/docker-toolbox2、默认安装Docker Toolbox即可3、安装好后，启动Docker Toolbox terminal，等待配置结束，显示虚拟机IP地址，出现命令符$注：1)出现Error with pre-cre
2017-08-01 20:41:45
325
转载 MongoDB设置 Replication Sets
MongoDB 高可用可用分两种 ：Master-Slave 主从复制 ：只需要在某一个服务启动时加上–master 参数, 而另一个服务加上–slave 与–source 参数, 即可实现同步。MongoDB的最新版本已不再推荐此方案。Replica Sets 复制集 ：MongoDB 在 1.6 版本对开发了新功能 replica set,这比之前的 repli
2017-07-13 21:32:17
2266
转载 pm2常用的命令用法介绍
pm2 是一个带有负载均衡功能的Node应用的进程管理器.当你要把你的独立代码利用全部的服务器上的所有CPU,并保证进程永远都活着,0秒的重载, PM2是完美的,下面我们来看pm2常用的命令用法介绍吧。PM2 （github上的源码）是开源的基于Nodejs的进程管理器，包括守护进程，监控，日志的一整套完整的功能，基本是Nodejs应用程序不二的守护进程选择，事实上它并不仅仅可以启动Nod
2017-07-10 11:37:10
121140
1
转载 用ethtool 命令解决Linux 网卡丢包
生产中有一台Linux设备并发比较大，droped包比较多，尤其是在跑游戏数据包的时候，存在严重的丢包现象，怀疑网卡性能不足，在更换设备前想能不有通过软件方法解决，通过网上一些资料显示，出现这种现象，也有可能是网卡buffer size 太小的原因，遂尝试更改buffer 大小解决，下面的设备运行了64天，丢包超过20多亿 .ethtool命令用于获取以太网卡的配置信息，或者修改这些配置
2017-06-26 14:10:06
25537
转载 mtr命令详解诊断网络路由
首先安装mtr# yum -y install mtr一般在windows 来判断网络连通性用ping 和tracert,ping的话可以来判断丢包率，tracert可以用来跟踪路由，在Linux中有一个更好的网络连通性判断工具，它可以结合ping nslookup tracert 来判断网络的相关特性,这个命令就是mtr[root@10.
2017-06-23 15:59:42
45730
转载 测试磁盘读写性能
读性能测试# time dd iflag=direct,nonblock if=/dev/sda2 of=/dev/null bs=8k count=8388608因为/dev/sda2是一个物理分区，对它的读取会产生IO，/dev/null是伪设备，相当于黑洞，of到该设备不会产生IO，所以，这个命令的IO只发生在/dev/sdb1上，也相当于测试磁盘的读能力。写测试
2017-06-08 15:45:50
2190
转载 linux的time命令
time命令性能监测与优化 time命令用于统计给定命令所花费的总时间。语法 time(参数) 参数 指令：指定需要运行的额指令及其参数。 实例 当测试一个程序或比较不同算法时，执行时间是非常重要的，一个好的算法应该是用时最短的。所有类UNIX系统都包含time命令，使用这个命令可以统计时间消耗。例如：[root@localhost
2017-06-08 11:27:44
744
转载 Python核心模块——urllib模块
urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你不可以通过urllib模块伪装你的User Agent字符串等（伪装浏览器）。urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。urllib2模块比较优势的地方
2017-06-07 21:13:52
1262
转载 python排序函数sort()与sorted()区别
sort是容器的函数：sort(cmp=None, key=None, reverse=False)sorted是Python的内建函数：sorted(iterable, cmp=None, key=None, reverse=False)参数解析：cmp：比较函数，比较什么参数由key决定。例如：cmp(e1, e2) 是具有两个参数的比较函数，返回值：负数（
2017-06-07 20:25:09
373
转载 python 产生随机数，随机字符串
python 产生随机数，随机字符串import random#随机整数：print random.randint(1,50)#随机选取0到100间的偶数：print random.randrange(0, 101, 2)#随机浮点数：print random.random()print random.uniform(1
2017-06-07 17:29:56
6448
转载 tomcat安装、配置、优化及负载均衡简介
http://www.cnblogs.com/rocomp/p/4802396.html一、常见JavaWeb服务器 1、WebLogic：是BEA公司的产品、WebSphereAS：是IBM公司的产品、JBossAS：红帽公司的产品，可以自行了解 2、Tomcat服务器： Sun公司在推出的小型Servlet/JSP调试工具的
2017-05-17 12:30:17
386
转载 drbd安装及配置
一、环境准备：1、两个节点：hostname node1hostname node22、各个节点hosts文件添加：192.168.23.148 node2192.168.23.147 node1[root@node2 drbd.d]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=node2
2017-05-09 20:51:30
3001
转载 Linux下的MySQL主主复制和Mysql-MMM实现(Mysql双主多从高可用)
mysql主从架构中其实就一个主在工作，而从就相当于一个备份机器，从通过日志监测的方式来备份主库上的数据而保证主库的数据安全。在这种架构中如果从上的数据做了改变，主数据是不会用任何变化的。因为mysql主从架构主要是mysql从监控mysql主的日志变化来实现同步，相反的在这个架构中主并没有监控从的日志变化。所以，mysql从数据反生变化，主也就没有什么变化了。通过上述描述，可以看到如果想实现
2017-05-03 18:35:33
2472
转载 Linux下的qperf测量网络带宽和延迟和iptraf网卡流量监控
1. qperf命令测试两个节点间建立tcp或者udp能够跑的带宽与延迟，也能够查看两个节点服务器的cpu型号与系统具体版本2. 在两台linux服务器都安装qperf包，yum -y install qperf 3. 在A服务器上运行qperf &作为服务器节点，由其他服务器来连接测试，默认监听tcp的19765端口。4. 在B服务
2017-05-02 20:58:14
4403
转载 CentOS6.4+Nginx1.4.2+MySQL5.6.13+PHP5.5.3+xCache3.03(最新LNMP编译安装过程)
<p line-height:24.05px;white-space:normal;background:#ffffff;"="" style="word-wrap: break-word; margin-top: 0px; margin-bottom: 10px; padding-top: 0px; padding-bottom: 0px; color: rgb(102, 102, 102);
2017-04-26 18:28:44
659
转载 Web服务器之Nginx详解（操作部分）
大纲一、前言二、Nginx 安装与配置三、Nginx 配置文件详解四、Nginx 命令参数五、配置Nginx提供Web服务六、配置Nginx的虚拟主机七、配置Nginx的用户认证八、配置Nginx提供状态页面九、配置Nginx的错误页面十、配置Nginx打开目录浏览功能十一、配置Nginx基于ssl提供https服务注，测试环境 CentOS 6.4
2017-04-26 15:05:24
2532
转载 Web服务器之Nginx详解（理论部分）
大纲一、前言二、Web服务器提供服务的方式三、多进程、多线程、异步模式的对比四、Web 服务请求过程五、Linux I/O 模型六、Linux I/O 模型具体说明七、Linux I/O模型的具体实现八、Apache 的工作模式九、支持高并发的Web服务器十、Nginx 详解一、前言注，在说Web服务器之前，先说说线程、进程、以及并发连接数。
2017-04-26 11:54:25
745
转载 postgresql - 三种安装方式
一、简 介 PostgreSQL 是一种非常复杂的对象-关系型数据库管理系统（ORDBMS），也是目前功能最强大，特性最丰富和最复杂的自由软件数据库系统。有些特性甚至连商业数据库都不具备。这个起源于伯克利（BSD）的数据库研究计划目前已经衍生成一项国际开发项目，并且有非常广泛的用户。优势：http://www.cnblogs.com/zhangpengme/archive/2011
2017-04-25 14:11:36
21217
1
转载 saltstack 数据系统——Grains和pillar
pillar 存储位置：master端，数据类型：动态数据 ，数据采集方式：在master端定义，指定给对应的minion。可以使用saltuitl.refresh_pillar刷新。应用：存储master指定的数据。只有指定的minion可以看到。用于敏感数据保存。通过一个例子来了解：###salt '*' pillar.items
2017-04-22 23:23:31
936
1
原创 python读写文件file写入到mysql
cat UserGoldConsumitemDaily.py#!/usr/bin/env python#-*-coding:utf-8-*-#用户消费物品日报#****************************************使用说明****************************************************# 内网测试通过命令行参数
2017-04-21 16:18:28
2969
转载 mysql字符集乱码问题
MySQL处理连接时，外部连接发送过来的SQL请求会根据以下顺序进行转换：character_set_client //客户连接所采用的字符集|character_set_connection //MySQL连接字符集|character_set_database //数据库所采用的字符集（表，列）|character_set_resul
2017-04-12 20:21:43
852
转载 OpenStack安装部署
OpenStack是一个美国国家航空航天局和Rackspace合作研发的，以Apache许可证授权，并且是一个自由软件和开放源代码项目。OpenStack主要包括以下几个子项目:OpenStack Compute(Nova)、云对象存储Cloud ObjectStorage(Swift)、镜像管理 (Glance)、身份识别Identity(Keystone)，网络连接管理Networ
2017-04-05 14:25:09
7238
转载 sql去除重复语句
1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) ;2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）
2017-03-31 14:45:50
1100
转载 python常用模块
time模块: 在python中，通常有以下几种方式来表示时间： 1、时间戳，如time.time 2、格式化的时间字符串，如'17/01/2017 10:17:00' 3、元组（struct_time），如gmtime、localtime等等 time.time()：把从1970年开始到现在的所有时间转换成秒数，即时间戳 time.gm
2017-03-30 18:45:16
1392
转载 LAMP快速安装
1. 版本介绍 linux：CentOS release 6.6 (Final) apache： httpd-2.2.31 mysql：mysql-5.5.48 php：php-5.3.272. apache安装yum install -y zlib zlib-devel openssl-develmkdir /server/to
2017-03-30 15:42:16
369
转载 python中的urllib模块中的方法
python urllib.request之urlopen函数urllib是基于http的高层库，它有以下三个主要功能：（1）request处理客户端的请求（2）response处理服务端的响应（3）parse会解析url下面讨论的是requesturllib.request模块
2017-03-29 17:05:09
6512
转载 pip安装使用详解
pip类似RedHat里面的yum，安装Python包非常方便。本节详细介绍pip的安装、以及使用方法。1、pip下载安装1.1 pip下载# wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922b
2017-03-29 14:51:35
338
转载 mysql的数据备份及恢复
一、mysql数据库备份的前因后果1、备份的概念：将数据收集并保存至另外的多个副本，其目的是将数据还原恢复至备份数据时那个状态。2、备份数据的原因1）做灾难恢复使用，要将数据副本做到异地多份备份；2）数据库数据改动时使用备份；3）需要对当前服务器做相关测试时使用备份，备份与测试都是最好在服务器访问量最少时进行3、备份的
2017-03-28 12:00:37
633
1
空空如也
为什么虚拟机每次重启都不加载ifcfg-eth0的配置
2014-08-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人