- 博客(18)
- 收藏
- 关注
RSS订阅原创 mapreduce代码统计文本单词
读取文本数据按空格进行拆分import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;//Long...
2022-05-09 10:50:48
85
原创 思维导图0.0
三大数据类型：字符串：char、varchar。数值：int、float。日期：date、time、datetime、timestamp增：insert into 表名(字段名1，字段名2)values(值1，值2);删：delete from 表名 where 字段名=字段指定的值;改：update user set gender=”女” where id=4;查：基本查询：select * from 表名;查询字句：where：select * from u where id=1;
2022-05-09 10:48:17
71
原创 爬虫，四种统计图
导包 import numpy as np import matplotlib.pyplot as plt 代码网格线图 ypoints = np.array([1,3,9,25,12,32,5,1]) 数据插入到图表 marker：符号 color：颜色，可简写为c linewidth：线条宽度 #plt.plot(ypoints,'o:g') #plt.plot(ypoints,ma...
2022-05-09 10:44:40
107
原创 MapReduce程序_WordCountMap
import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMap extends Mapper<LongWritable,..
2022-05-02 08:36:45
73
原创 MySQL查询优化和参数优化
#避免全表扫描use test;create table if not exists t(id int,num int defalult 0,name varchar(20));create index ix_num on t(num);#避免查询null#未使用索引select id from t where num=null;#使用索引select id from t where num=0;#避免使用!=、<>(也是!=) 未使用索引select .
2022-05-02 08:34:50
838
原创 pandas函数
df.to_csv(filename)读取pd.read_csv(filename,header=0) #保留列属性，header=None不读列属性缺失值处理去掉包含缺失值的行df.dropna(how=’any’)对缺失值进行填充df.fillna(value=5)选择行或列df.iloc[3] #第四行df.iloc[:,3] #第四列df.iloc[3:5,0:2] #第四到六行，第一到三列df.iloc[[4,5,6],[0,1,2...
2022-05-02 08:33:48
42
原创 【无标题】MySQL
USE test;#创建表CREATE TABLE IF NOT EXISTS T1(processid INT,nextprocess INT);#创建索引CREATE INDEX IX ProcessID ON T1(processid);#a语句不使用索引SELECT * FROM T1 WHERE nextprocess = 1 AND processid IN (8,32,45);#b语句强制使用索引SELECT * FROM T1 FORCE INDEX(IX_P
2022-04-25 10:19:27
41
原创 【无标题】Hbase
配置ssh免登陆生成ssh免登陆密钥cd ~，进入到我的home目录cd .ssh/ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看或ssh-copy-id -i localhost关闭所有stop-all.sh开启所有start-all.shhadoo
2022-04-25 10:17:13
2785
原创 爬虫，，，
import numpy as np#numpy等于npprint("**********************1***************************")print('函数依次对两个数组的元素进行字符串连接')print('连接两个字符串：')print(np.char.add(['hello'],['xyz']))print("**********************2***************************")print('函数执行多重连接')pri
2022-04-25 10:14:32
39
原创 hadoop
删除java安装包:rpm -e --nodeps 包名2.安装JDK 2.1 filezilla上传jdk到/opt 2.2 解压jdk cd /opt tar -zxvf jdk-7u76-linux-x64.tar.gz 2.3 将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/op...
2022-04-11 14:52:37
45
原创 Hbase
#第一范式：# 保存原子性#第二范式：# 完全依赖于主键，消除部分依赖# 某个属性既依赖于主键又依赖于其他属性，不能缺失一个#第三范式：# 消除传递依赖：# 某个属性既对应了主键又对应了其他属性，可以缺失其中一个#用户名，密码，注册日期，生日CREATE DATABASE IF NOT EXISTS test DEFAULT CHARSET utf8;USE test;CREATE TABLE IF NOT EXISTS test1( y_ying...
2022-04-11 14:51:32
1679
原创 爬虫，，，，
import parserfrom lxml import etreewb_data=""" <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2..
2022-04-11 14:49:05
42
原创 shell
一、Shell基础1、什么是shell？Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。2、创建文件vim 文件名.sh3、进入编辑模式#!/bin/bash 首行必要3、echo 'Hello World' 输出语句4、保存退出5、设置运行权限ch...
2022-04-04 10:26:39
1121
原创 爬虫，，，，
pip install xxxxxx -i http://pypi.douban.com/simple --trusted-host pypi.douban.com使用上面的命令下载wheel、lxml、twisted、pywin32、scrapy五个jar包，xxxxxx内填包名命令行创建项目scrapy startproject yc yc是项目名创建py文件scrapy genspider baidu www.baidu.com baidu是文件名 文件名后写网址在项目中的s.
2022-04-04 10:24:42
65
原创 【无标题】
#创建视图CREATE VIEW s_t(编号,姓名,性别,出生日期)ASSELECT * FROM student WITH CHECK OPTION#查询视图SELECT * FROM s_t#部分视图创建数据CREATE VIEW s_t_2(编号,姓名,性别,出生日期)ASSELECT * FROM student WHERE NAME='卫庄' WITH CHECK OPTION#约束条件 name=‘卫庄’ 下面那条张三会报错...
2022-04-04 10:21:02
46
原创 hbase
1.索引介绍一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。2.普通索引：创建索引、修改添加索引，创建表指定索引、删除索引3.唯一索引4.组合索引1.索引介绍1.什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最...
2022-03-21 08:45:12
49
原创 python爬取
from urllib import request import re #定义url page=100 url='https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn='+str(page) try: #定义请求头 headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) A...
2022-03-21 08:37:37
38
原创 【无标题】shell脚本
chmod +x test.sh #给test文件添加权限./test.sh #运行文件/home/test2.sh #运行指定目录下的文件首先输入指令vim test.sh编辑文件#!/bin/bashif truethen echo "hello world"fi#使用if判断输出dt=`date +'%d'`echo $dtif [ $dt = "02" ]then echo '123456'elseecho 'aaa'fi#使用for循环输出1到10..
2022-03-21 08:33:37
565
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人