自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

赖德发的博客

征途路上,星辰大海,交流微信:laidefa

原创 【python mysql】数据库 使用Python操作MySQL

MySQLdb 安装:pip install mysql-python加载包 -------------------------------------------------------------------------------- import MySQLdb import MySQLd...

2017-06-30 19:29:26

阅读数 1825

评论数 0

原创 【web服务器搭建】用MAMP和WAMP搭建Web环境

Web环境 Web服务器:Apache、Nginx,处理Web请求 数据库:MySQL,存储和管理数据 后端:PHP Web服务启动后,就可以在浏览器中访问根目录中的网站项目 MAMP:Mac,Apache,MySQL,PHP,https://www.mamp.info/en/ WAMP...

2017-06-30 17:46:38

阅读数 1835

评论数 0

原创 【python 文本统计】西游记用字统计

1、数据 xyj.txt,《西游记》的文本,2.2MB 致敬吴承恩大师,4020行(段)2、目标 统计《西游记》中: 1. 共出现了多少个不同的汉字; 2. 每个汉字出现了多少次; 3. 出现得最频繁的汉字有哪些。3、涉及内容: 1. 读文件; 2. 字典的使...

2017-06-30 16:15:22

阅读数 3556

评论数 1

原创 【zookeeper 安装教程】centos 5.8搭建环境

所需软件:VM 虚拟机 centos系统 jdk 1.6或者以上 zookeeper-3.4.6.tar.gz   这里至少需要三台server,不然的话这里zookeeper安装的时候,测试会报至少需要三台server,相关可以查看zookeeper.out(测试环境下)      ...

2017-06-29 16:15:20

阅读数 783

评论数 0

原创 【linux 定时器】crontab 的用法

基本格式 : *  *  *  *  *  command 分  时  日  月  周  命令 第1列表示分钟1~59 每分钟用*或者 */1表示 第2列表示小时0~23(0表示0点) 第3列表示日期1~31 第4列表示月份1~12 第5列标识号星期0~6(0表示星期天) 第6列要...

2017-06-23 21:25:27

阅读数 1137

评论数 0

原创 【linux iptable】iptable练习

#查看帮助 iptables -h man iptables列出iptables规则 iptables -L -n 列出iptables规则并显示规则编号 iptables -L -n --line-numbers列出iptables nat表规则(默认是filter表) iptables -L ...

2017-06-23 21:23:46

阅读数 893

评论数 0

原创 【linux ssh免密码登录】linux 免密码登录

**配置主机之间的免密ssh登陆 vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.loca...

2017-06-23 19:49:21

阅读数 722

评论数 0

原创 【linux 软件安装】linux 安装tomcat

安装tomcat1.上传apache-tomcat-7.0.68.tar.gz到Linux上 2.解压tomcat tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/ 3.启动tomcat /usr/local/apache-tomca...

2017-06-23 19:18:48

阅读数 812

评论数 0

原创 【linux 软件安装】nginx 安装

安装nginx tar -zxvf nginx-1.8.1.tar.gz -C /usr/local/src 3.3.编译nginx #进入到nginx源码目录 cd /usr/local/src/nginx-1.8.1#检查安装环境,并指定将来要安装的路径 ./configure --prefi...

2017-06-23 19:17:41

阅读数 403

评论数 0

原创 【linux 命令】Linux 下常用压缩文件的解压、压缩

常用压缩包解压命令整理 Linux 后缀为 .tar.gz 格式的文件-解压 命令:tar zxvf XXXXXX.tar.gzLinux 后缀为 .bz2 格式的文件-解压 命令:bzip2 -d XXXXXX.bz2Linux 后缀为 .tar.bz2 格式的文件-解压 命令:tar ...

2017-06-23 11:30:39

阅读数 757

评论数 0

原创 【linux 命令】进程控制

1.查看用户最近登录情况 last lastlog2.查看硬盘使用情况 df3.查看文件大小 du4.查看内存使用情况 free5.查看文件系统 /proc6.查看日志 ls /var/log/7.查看系统报错日志 tail /var/log/messages8.查看进程 top...

2017-06-21 22:15:17

阅读数 304

评论数 0

原创 【linux 命令】输入输出重定向及管道

1.新建一个文件 touch a.txt b.txt 2.错误重定向:2> find /etc -name zhaoxing.txt 2> error.txt3.将正确或错误的信息都输入到log.txt中 find /etc -name passwd > /tmp/lo...

2017-06-21 22:13:10

阅读数 515

评论数 0

原创 【linux 命令】正则表达式

1.cut截取以:分割保留第七段 grep hadoop /etc/passwd | cut -d: -f72.排序 du | sort -n 3.查询不包含hadoop的 grep -v hadoop /etc/passwd4.正则表达包含hadoop grep ‘hadoop’ /et...

2017-06-21 22:12:00

阅读数 476

评论数 0

原创 【linux 命令】解压和打包

1.gzip压缩 gzip a.txt2.解压 gunzip a.txt.gz gzip -d a.txt.gz3.bzip2压缩 bzip2 a4.解压 bunzip2 a.bz2 bzip2 -d a.bz25.将当前目录的文件打包 tar -cvf bak.tar . 将/e...

2017-06-21 22:10:56

阅读数 631

评论数 0

原创 【linux 命令】查找

1.查找可执行的命令: which ls2.查找可执行的命令和帮助的位置: whereis ls3.查找文件(需要更新库:updatedb) locate hadoop.txt4.从某个文件夹开始查找 find / -name “hadooop*” find / -name “hadoo...

2017-06-21 22:09:16

阅读数 403

评论数 0

原创 【JDK 安装】linux下jdk安装步骤

1.安装JDK *添加执行权限 chmod u+x jdk-6u45-linux-i586.bin *解压 ./jdk-6u45-linux-i586.bin *在/usr目录下创建java目录 mkdir /u...

2017-06-21 22:08:18

阅读数 380

评论数 0

原创 【linux 命令】权限

创建a.txt和b.txt文件,将他们设为其拥有者和所在组可写入,但其他以外的人则不可写入: chmod ug+w,o-w a.txt b.txt创建c.txt文件所有人都可以写和执行 chmod a=wx c.txt 或chmod 666 c.txt将/itcast目录下的所有文件与子目录皆...

2017-06-21 22:05:04

阅读数 228

评论数 0

原创 【linux 命令】用户和组

添加一个tom用户,设置它属于users组,并添加注释信息 分步完成:useradd tom usermod -g users tom usermod -c “hr tom” tom 一步完成:useradd -g users -c “hr tom”...

2017-06-21 22:02:53

阅读数 1151

评论数 0

原创 【linux 命令】系统命令

1.查看主机名 hostname2.修改主机名(重启后无效) hostname hadoop3.修改主机名(重启后永久生效) vi /ect/sysconfig/network4.修改IP(重启后无效) ifconfig eth0 192.168.12.225.修改IP(重启后永久生效) ...

2017-06-21 22:01:35

阅读数 366

评论数 0

原创 【linux 命令】文件相关命令

1.进入到用户根目录 cd ~ 或者 cd cd ~hadoop 回到原来路径 cd -2.查看文件详情 stat a.txt3.移动 mv a.txt /ect/ 改名 mv b.txt a.txt 移动并改名 mv a.txt ../b.txt4拷贝并改名 cp a.tx...

2017-06-21 21:58:57

阅读数 388

评论数 0

原创 【linux 常用命令】linux命令大全

说明:安装linux时,创建一个itcast用户,然后使用root用户登陆系统1.进入到用户根目录 cd ~ 或 cd2.查看当前所在目录 pwd3.进入到itcast用户根目录 cd ~itcast4.返回到原来目录 cd -5.返回到上一级目录 cd ..6.查看itcast用户根目...

2017-06-21 21:55:40

阅读数 294

评论数 0

原创 【VMware Workstation】VMware 所有版本永久许可证激活密钥

注:VMware v11.x、12.x 系列版本仅支持64位系统,如果是32位系统请用VMware v10.x版本VMware 所有版本永久许可证激活密钥:VMware Workstation v12 for Windows 5A02H-AU243-TZJ49-GTC7K-3C61N VF...

2017-06-20 16:13:18

阅读数 15684

评论数 1

原创 【vmware 服务器安装】虚拟机centos6.5安装步骤

步骤一:安装node1,配置node1vi /etc/sysconfig/network-scripts/ifcfg-eth0ONBOOT=yes #是否开机启用修改完成之后reboot步骤二:克隆node2,node3出来步骤三:配置 node2,node3 1、vi /etc/sys...

2017-06-20 16:01:09

阅读数 906

评论数 0

原创 【matlab GUI】GUI listbox的用法

A= get(handles.listbox1,'value'); %A的值代表我们选的是第几个选项 switch A case 1 % 当我们选的是1 时,给变量B赋个什么样的值,依次类推,最后B将是你想要的结果 I=imread('1.jpg'...

2017-06-15 17:20:40

阅读数 14358

评论数 2

原创 【matlab 图像处理】五种边缘检测算法比较

代码实现I=imread('1.jpg'); I0=rgb2gray(I); subplot(231); imshow(I);BW1=edge(I0,'Roberts',0.16); subplot(232); imshow(BW1); title(...

2017-06-15 17:16:46

阅读数 7847

评论数 0

原创 【python 淘宝爬虫】python 淘宝店铺名称,旺旺,销售量 抓取

一、需求分析 抓取淘宝店铺名称,旺旺,销售量 二、效果展示 三、实现源代码# encoding: utf-8import sys reload(sys) sys.setdefaultencoding('utf-8')import pandas as pd import ti...

2017-06-15 10:46:07

阅读数 7123

评论数 1

原创 【python 淘宝爬虫】淘宝信誉分抓取

一、需求分析 输入旺旺号,获取淘宝卖家的信用分二、思路 淘宝需要模拟登陆,我们这里抓不到,因此为了绕过登陆,发现了淘一兔,我们可以通过这里,得到淘宝卖家的信用分,结果是一样的。 http://www.taoyizhu.com/输入旺旺号,需要点击查询,等待几秒,得到查询结果,这里我们用sel...

2017-06-15 10:39:56

阅读数 7620

评论数 0

原创 【数据科学】当代数据科学家需要掌握的技能

道路通往星辰大海,纵有荆棘不言孤单~

2017-06-15 09:47:01

阅读数 1340

评论数 0

原创 【python 爬虫】selenium+phontomjs 用法

程序1:输入病员号,查询病员信息# encoding: utf-8from selenium import webdriver import sys reload(sys) sys.setdefaultencoding('utf-8') from lxml import etr...

2017-06-15 09:41:27

阅读数 1320

评论数 0

原创 【spark 词频统计】spark单词进行计数升级版

下面的代码对文件里的单词进行计数,筛选出现过10次的单词,然后对这些单词中的每个字符出现的次数进行计数。最后,通过collect action操作触发job的执行。这些转换中有两个是stage边界(它们有宽依赖)。代码中的两个reduceByKey转换是生成3个stage的原因:val words...

2017-06-14 10:07:30

阅读数 2026

评论数 0

原创 【R语言 可视化】R语言画图增加次要刻度线

dose<-c(20,30,40,45,60) drugA<-c(16,20,27,40,60) plot(dose,drugA,xlim = c(0,70)) library(Hmisc) minor.tick(nx=5,ny=5)

2017-06-13 10:13:50

阅读数 3137

评论数 0

原创 【python 数据可视化 】饼图,箱线图,条形图,直方图,折线图,散点图

# coding:UTF-8 import matplotlib.pyplot as plt import numpy as np import pandas as pd import matplotlib.dates as mdates##画直线 plt.plot([1,2,3,4,5],[1,...

2017-06-13 10:12:21

阅读数 5945

评论数 0

原创 【R语言 社交网络】R语言关系网络图+ PageRank算法实现

例子1: library(plyr)set.seed(10) rm(list=ls()) library(igraph) g<-random.graph.game(n=10,p.or.m=1/3,directed=TRUE) com = walktrap.community(g, steps...

2017-06-13 10:07:56

阅读数 6320

评论数 0

原创 【spark 学习笔记】Spark学习笔记精华(1)

好记性不如烂笔头,顺便就开始用手机练习打字了,也分享给感兴趣的朋友学习下。 1.take可以查看RDD中前面几个元素,而且代价很小。rdd.take(5)2.可以用takeSample对数据进行采样,它的第一个参数表示是否允许重复采样。rdd.takeSample(true,3)3.top返回数据...

2017-06-13 10:05:19

阅读数 533

评论数 0

原创 【spark RDD】RDD编程

%spark/*创建RDD*/ val data0=sc.parallelize(Array(1,2,3,3)) /*************************************对一个数据的RDD进行转换操作***************************************...

2017-06-13 10:03:46

阅读数 1082

评论数 0

原创 【spark 数据框】Spark数据框dataFrame

%spark /*DataFrame*/ val data=sc.parallelize(List(("Alice",21),("Bob",24))) val people=data.toDF("name","age"...

2017-06-13 10:02:28

阅读数 1157

评论数 0

原创 【R 可视化】R 画关系网络图

rm(list=ls()) library(igraph) #1.用igraph创建图表 g<- graph(c(1,2, 1,8,1,9,1,10,2,4,2,5,2,6,2,3,3,7,3,11,3,12,3,1), directed=T)com = walktrap.community...

2017-06-13 10:01:25

阅读数 6949

评论数 0

原创 【spark 累加器】spark 累加器求1+2+3+4+5+......+100

%spark val accum = sc.accumulator(0) val num=1 to 100 sc.parallelize(num).foreach(x => accum += x) val total_sum=accum.value println(total_sum)acc...

2017-06-13 09:59:43

阅读数 1010

评论数 0

原创 【R语言 函数】R语言聚合函数总结

> rm(list=ls()) > > > # 聚合函数学习 > data(iris) > ##tapply 分组求和 > (aa<-tapply(iris$Sepal.Length,iris$Species,sum)) setosa v...

2017-06-13 09:58:00

阅读数 4832

评论数 0

原创 【R语言 算法设计】信用贷款余额计算

#####设置 rm(list = ls()) options(scipen =20)########################step0:读取数据########################## data<-read.table("E:\\贷款余额\\信用贷款.txt&...

2017-06-13 09:55:43

阅读数 1452

评论数 0

提示
确定要删除当前文章?
取消 删除