h102897-CSDN博客

原创 mapreduce代码统计文本单词

读取文本数据按空格进行拆分import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;//LongWritable 偏移量 long 表示改行在文件中的位置，...

2022-05-08 22:12:36 94

原创思维导图，

三大数据类型：字符串：char、varchar。数值：int、float。日期：date、time、datetime、timestamp增：insert into 表名(字段名1，字段名2)values(值1，值2);删：delete from 表名 where 字段名=字段指定的值;改：update user set gender=”女” where id=4;查：基本查询：select * from 表名;查询字句：where：select * from u where id=1;排序：se

2022-05-08 22:08:22 462

原创爬虫数据图

爬虫四张数据图加源码散点图import numpy as npimport matplotlib.pyplot as pltheight=[161,170,182,175,173,165]weight=[50,58,80,70,69,55]plt.scatter(height,weight)# 显示数据图plt.show()折线图import numpy as npimport matplotlib.pyplot as plt# 生成一组等区间数值x=np.linspace(-10

2022-05-08 22:05:33 602

原创第一个MapReduce程序_WordCountMap

import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class WordCountMap ...

2022-05-01 23:08:07 60

原创 MySQL查询优化和参数优化

#避免全表扫描use test;create table if not exists t(id int,num int defalult 0,name varchar(20));create index ix_num on t(num);#避免查询null #未使用索引select id from t where num=null;#使用索引select id from t where num=0;#避免使用!=、<>(也是!=) 未使用索引select * from t .

2022-05-01 23:03:22 664

原创 pandas函数

读写csv文件写入df.to_csv(filename)读取pd.read_csv(filename,header=0) #保留列属性，header=None不读列属性缺失值处理去掉包含缺失值的行df.dropna(how=’any’)对缺失值进行填充df.fillna(value=5)选择行或列df.iloc[3] #第四行df.iloc[:,3] #第四列df.iloc[3:5,0:2] #第四到六行，第一到三列df.iloc[[4,5,6],[0,1,2]] #第四到六行，

2022-05-01 23:00:46 69

原创 JAVA操作

配置ssh免登陆生成ssh免登陆密钥cd ~，进入到我的home目录cd .ssh/ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看或ssh-copy-id -i localhost关闭所有stop-all.sh开启所有start-all.shhadoo

2022-04-24 20:34:08 62

原创 numpy函数

下载numpy包from numpy import *print(eye(4)) 打印4行4列的数组，每个数后面都有小数点，第n行第n列的数都为一，其余为0（1<=n<=4）import numpy as npimport numpy as npa=np.array([1,2,3])创建一个ndarray对象 ndarray是多维数组 dimensional 维度print(a.dtype)打印数据类型 int32表示4字节的整形print(a.shape)打印数组的元素

2022-04-24 20:29:52 93

原创 sql查询优化

1. count的优化　　比如：计算id大于5的城市 a. select count(*) from world.city where id > 5; b. select (select count(*) from world.city) – count(*) from world.city where id <= 5; a语句当行数超过11行的时候需要扫描的行数比b语句要多， b语句扫描了6行，此种情况下，b语句比a语句更有效率。当没有where语句的时候直接select count(*)

2022-04-24 20:20:25 85

原创 hbase

1：视图视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select语句保存在数据字典中的。2：mysql事务MYSQL 事务处理主要有两种方法：用 BEGIN, ROLLBACK, COMMIT来实现 BEGIN 开始一个事务 ROLLBACK 事务回滚 COMMIT 事务确认直接用 SET 来改变 MySQL 的自动提交模式: SET AUTOCOMMIT=0 禁止自动提交 SET AUTOCOMMIT=1 开启自动提交3：提交事务CREATE T

2022-04-10 20:40:26 46

原创 numpy数据类型

1.整型int_，默认的整数类型，一般是 int32intc，与 C 语言的 int 类型一样，一般是 int32intp，用于索引的整数类型int8，int16，int32，int64，有符号整数uint8，uint16，uint32，uint64，无符号整2.浮点型float_，默认的浮点数类型，一般是 float64float16，半精度浮点数，包括：1 个符号位，5 个指数位，10 个尾数位float32，单精度浮点数，包括：1 个符号位，8 个指数位，23 个尾数位

2022-04-10 20:32:32 1258

原创安装hadoop

一、Hadoop伪分布式框架的部署1、打开虚拟机，准备Linux环境1.1 开启网络,ifconfig指令查看ip1.2 修改主机名为自己名字(hadoop)vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop1.3修改主机名和IP的映射关系vim /etc/hosts192.168.182.128 hadoop1.4关闭防火墙1.4.1查看防火墙状态service iptables status1.4.2关闭防火墙ser

2022-04-10 20:29:21 3000

原创 linux

ssh：安全外壳协议端口号默认是22如果要修改,则需要修改ssh服务的配置文件修改范围：0-65535服务启动/终止/重启service sshd start/stop/restart/etc/init.d/sshd start/stop/restart获取服务器ip地址：ifconfigpscp -r root@192.168.21.128:/etc E:\tmp #将远程linux服务器下的/etc整个目录下载到电脑windows系统的E:\tmp下 ...

2022-04-03 19:58:22 55

原创 scrapy爬虫

（上课记录）1、先在cmd中安装scrapypython -m pip install --upgrade pippip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy打开一个终端输入（建议放到合适的路径下，默认是C盘）2、创建项目scrapy startproject TXmoviescd TXmoviesscrapy gensp.

2022-04-03 19:51:59 64

原创数据库-视图

1.创建视图create view 视图名(视图列1,视图列2) 视图列名为中文asselect * from 表名没有指定那一列,从第一个列名开始创建with check option;2.添加视图数据、删除视图、查询视图、修改视图和表一样的用法3.创建多表视图create view 视图名(视图列1,视图列2,视图列3)asselect 列名1,列名2,列名3 from 表名1...

2022-04-03 19:43:40 316

原创 shell指令

chmod +x test.sh #给test文件添加权限./test.sh #运行文件/home/test2.sh #运行指定目录下的文件首先输入指令vim test.sh编辑文件#!/bin/bashif truethen echo "hello world"fi#使用if判断输出dt=`date +'%d'`echo $dtif [ $dt = "02" ]then echo '123456'elseecho 'aaa'fi#使用for循环输出1到10..

2022-03-20 21:02:03 889

原创【无标题】爬虫爬取

from urllib import request import re #定义url page=100 url='https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn='+str(page) try: #定义请求头 headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64...

2022-03-20 20:59:31 46

原创【无标题】sql索引

1、单独创建索引create index 索引名 on 表名(要创建索引的列名);create indexindex_name on emp(emp_name);2、修改表结构创建索引alter table 表名 add index 索引名(要创建索引的列名);alter tableempadd index index_salary(salary);3、删除索引drop index 索引名 on 表名;drop indexindex_nameonemp;4、单...

2022-03-20 20:55:57 46

原创爬虫基础--黄一家

#入门程序from urllib import request req = request.Request(“http://t.cn/RyhQ2V2”)resp = request.urlopen(req)print(resp.read()) reponse=request.urlopen(“http://t.cn/RyhQ2V2”)#read方法读取网页内容print(reponse.read()) #爬虫添加cookiefrom urllib import requestfrom http impo

2022-03-13 21:15:49 1416

原创 Linux指令--黄一家

Linux基础指令一、lsls:列出当前目录下的所有文件/文件夹的名字ls /root:列出root下的所有文件/文件夹的名字ls-l:以详细列表的形式展示ls-la、ls-a:显示所有文件/文件夹（包含了隐藏文件/文件夹）ls-lh /root:列出root下的所有文件/文件夹的名称，以列表的形式并且在显示文档大小的时候以可读性较高的形式显示二、pwd:即print working directory，打印当前目录三、cdcd …:返回到上一级目录cd /usr/local:使用绝对路

2022-03-13 21:12:32 277

原创 sql语句--黄一家

1、建库建表语法，字段数据类型，（案例）2、增删改查语法，3、表关联查询4、子查询#创建库CREATE DATABASE yueshu DEFAULT CHARSET utf8;#使用库USE yueshu;CREATE TABLE temp(id INT,NAME VARCHAR(20),pwd VARCHAR(20),PRIMARY KEY(id,NAME));#删除主键(修改表结构)ALTER TABLE temp DROP PRIMARY KEY;#添加主键ALTE

2022-03-13 21:09:57 53

h102897的博客