- 博客(17)
- 收藏
- 关注
RSS订阅原创 mapreduce代码统计文本单词
三大数据类型：字符串：char、varchar。数值：int、float。日期：date、time、datetime、timestamp增：insert into 表名(字段名1，字段名2)values(值1，值2);删：delete from 表名 where 字段名=字段指定的值;改：update user set gender=”女” where id=4;查：基本查询：select * from 表名;查询字句：where：select * from u where id=1;排序：se
2022-05-08 22:03:19
344
原创 Python统计图
饼图import matplotlib.pyplot as pltimport numpy as npy=np.array([35,25,25,15])plt.pie(y, labels=['A','B','C','D'],#设置饼图标签# colors=["#d5695d","#5d8ca8","#65a479","#a564c9"],#设置饼图颜色# explode=(0,0.2,0,0),#第二部分突出显示，值越大，距离中心越远 ...
2022-05-08 22:03:12
557
原创 mapreduce代码统计文本单词
importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Reducer/***Text数据类型：字符串类型String*IntWritablereduce阶段的输入类型int*Textreduce阶段的输出数据类型String类型*IntWritable输出词频个数Int型*/p
2022-05-08 22:02:27
612
原创 mysql查询优化 _陈胜
USE test;#创建表CREATE TABLE IF NOT EXISTS T1(processid INT,nextprocess INT);#创建索引CREATE INDEX IX_ProcessID ON T1(processid);#a语句不使用索引SELECT * FROM T1 WHERE nextprocess = 1 AND processid IN (8,32,45);#b语句强制使用索引SELECT * FROM T1 FORCE INDEX(IX_Process)
2022-04-24 21:17:25
65
原创 numpy函数_陈胜
数学函数import numpy as npprint ('连接两个字符串：')print (np.char.add(['hello'],[' xyz']))print ('\n')print ('连接示例：')print (np.char.add(['hello', 'hi'],[' abc', ' xyz']))print (np.char.multiply('Runoob ',3))print (np.char.center('Runoob', 20,fillchar =...
2022-04-24 21:17:08
83
原创 hdfs_陈胜
package cn.itcast.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import java.net
2022-04-24 21:16:30
53
原创 hadoop伪分布式搭建_陈胜
1.准备Linux环境1.1 开启网络,ifconfig指令查看ip1.2 修改主机名为自己名字(hadoop)vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop1.3修改主机名和IP的映射关系vim /etc/hosts 192.168.182.128 hadoop1.4关闭防火墙#查看防火墙状态service iptables status#关闭防火墙service iptables stop#关闭防火...
2022-04-10 21:22:33
68
原创 xpath_陈胜
from lxml import etreewb_data ="""<div><ul><li class="item-0">first item</li><li class="item-1">second item</li><li class="item-inactive">third item</li><li class="item-1">fourth item</li>
2022-04-10 21:22:03
53
原创 scrapy案例_陈胜
1.创建项目打开一个终端输入（建议放到合适的路径下，默认是C盘）scrapy startproject TXmoviescd TXmoviesscrapy genspider txms v.qq.com2.修改setting修改三项内容，第一个是不遵循机器人协议，第二个是下载间隙，由于下面的程序要下载多个页面，所以需要给一个间隙（不给也可以，只是很容易被侦测到），第三个是请求头，添加一个User-Agent，第四个是打开一个管道ROBOTSTXT_OBEY=FalseDOWNLOAD_DE.
2022-04-03 20:52:43
206
原创 Linux自有服务_陈胜
一、设置主机名①临时设置主机名（立竿见影），需要切换用户使之生效#hostname设置的主机名；②永久设置主机名（需要重启）先找到一个文件/etc/sysconfig/network【主机名的配置文件】修改其中的HOSTNAME为自己需要设置的永久主机名；③修改linux服务器的hosts文件，将yunwei指向本地（设置FQDN）Hosts文件的位置：/etc/hosts二、chkconfig作用：相当于windows下“安全卫士”、“电脑管家”之类的安全辅助工具提供“开机启动项”的一个管理服务
2022-04-03 20:52:20
1342
原创 视图_陈胜
USE info;#创建作者表CREATE TABLE IF NOT EXISTS author(id INT NOT NULL AUTO_INCREMENT,author_name VARCHAR(50) DEFAULT NULL,PRIMARY KEY(id));INSERT INTO author(author_name)VALUES('naamman'),('lucy'),('lily'),('jack');#创建博客表CREATE TABLE IF NOT EXISTS blo
2022-04-03 20:51:54
209
原创 爬虫基础_陈胜
from urllib import requestimport re#定义urlpage=100url='http://tieba.baidu.com/f?kw=%6%AE%B5%E5%AD%90$ie=utf-8$pn='+str(page)try: #定义请求头 headers={'User-Agent':' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Ch...
2022-03-20 21:43:14
208
原创 SQL索引_陈胜
普通索引直接创建索引CREATE INDEX index_name ON table(column(length))修改表结构的方式添加索引ALTER TABLE table_name ADD INDEX index_name (column(length))创建表的时候同时创建索引CREATE TABLE `table` ( `id` int(11) NOT NULL AUTO_INCREMENT , `title` char(255) CHARACTER SET utf8 ...
2022-03-20 21:42:14
48
原创 shell脚本_陈胜
一、关于shel1、什么是shel什么是shell？Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。什么是脚本？脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本：JavaScript（JS，前端），VBScript，ASP，JSP，PHP（后端），SQL（数据库操作语言），P
2022-03-20 21:41:30
98
原创 linux指令_陈胜
1.基础指令语法：1、ls指令含义：ls（list）列出当前工作目录下的所有文件/文件夹的名称。用法1：#ls 用法2：#ls路径 用法3：#ls选项路径2、pwd指令（printworkingdirectory，打印当前工作目录）用法：#pwd3、cd指令（changedirectory，改变目录）作用：用于切换当前的工作目录的语法：#cd路径命令：#cd4、指令：mkdir（makedirectory，创建目录）语法1：#mk...
2022-03-13 22:20:14
104
原创 SQL基础语法_陈胜
#创建库CREATE DATABASE IF NOT EXISTS info DEFAULT CHARSET utf8;USE info;#创建表CREATE TABLE IF NOT EXISTS stu(sid INT PRIMARY KEY AUTO_INCREMENT,sname VARCHAR(20),gender VARCHAR(10),class_id INT);#插入数据INSERT INTO stu(sname,gender,class_id)VALUES...
2022-03-13 22:19:35
558
原创 爬虫基础_陈胜
1：爬虫入门程序import cookielibimport urllib2url="http://www.baidu.com"response1=urlib2.urlopen(url)print"第一种方法”print "第一种方法"#获取状态码，200表示成功print responselgetcode()#获取网页内容的长度print len(response1read())print "第二种方法"request = urllib2.Request(url)#模拟Mozi
2022-03-13 22:18:58
1111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人