xiao~zhi-CSDN博客

原创 matplotilb绘图

折线图import numpy as npimport matplotlib.pyplot as plt# #定义数据ypoint=np.array([1,3,5,7,9,4,2,6])#将数据插入到图表# plt.plot(ypoint,'o:g')plt.plot(ypoint,marker="o",ls=':',c='g',lw='10')#设置xy的名字plt.xlabel('XX')plt.ylabel('YY')plt.title('table')#图表显示# pl

2022-05-08 19:45:20 708

原创第一个mapreduce

wordcountimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.File

2022-05-08 19:36:34 86

原创 SQL复习

sql复习 3大数据类型字符串 varchar char 日期 data time year 数值 int float double 增删查改增：insert into user(name,gender) values ("zhangsan","nan") 删:delete from user w...

2022-05-08 19:33:06 365

原创查询优化__邓治安

CREATE TABLE t( id INT, num INT DEFAULT 0, NAME VARCHAR(20))DELIMITER $CREATE PROCEDURE t()BEGINDECLARE i INT DEFAULT 0;DECLARE f INT DEFAULT 1;WHILE(i<1000) DO BEGIN SELECT i; SELECT f; SET i=i+1; SET f=f+1; INSERT INTO t(id,num).

2022-05-01 19:39:34 75

原创 pandas__邓治安

使用前先下载pandas包，pip install pandasSeriesPandas Series 类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。import pandas as pa;print(pa.__version__)#定义字典mydataset ={ 'size':["Goole","Runoob","wiki"], 'number':[1,2,3]}#将字典转换为DataFrame,才能处理mydf=pa.Dat

2022-05-01 19:36:17 486

原创第一个MapReduce程序_WordCountMap__邓治安

import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMap extends Mapper<LongWritable,Text, Te.

2022-05-01 19:20:11 1241

原创 python _ numpy函数 _邓治安

import numpy as np#创建空数组e=np.empty([3,4],dtype=float,order='C')print(e)#创建0数组z=np.zeros([4,5],dtype=int,order="C")print(z)#创建1数组o=np.ones([4,2],dtype=[('x','i1'),('y','i2')],order="C")print(o)#从已有数组中创建数组x=[1,2,3]a=np.asarray(x,dtype='f2').

2022-04-24 19:27:33 1817

原创 sql查询优化__邓治安

#避免的情况 != , < > ,is null , in not null, in , not inSELECT COUNT(*) FROM emp WHERE age IN(SELECT age FROM emp WHERE id >100);SELECT COUNT(*) FROM emp WHERE EXISTS(SELECT age FROM emp WHERE id > 100);CREATE TABLE t1(c1 INT,c2 INT)CREATE .

2022-04-24 19:16:47 198

原创 Java操作HDFS__邓治安

package cn.itcast.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import java.ne.

2022-04-24 19:13:20 57

原创 linux配置jdk和安装Hadoop

1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop 1.4关闭...

2022-04-10 17:54:25 181

原创 xpath_邓治安

from lxml import etrees=""" <?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book&gt.

2022-04-10 17:51:32 244

原创数据库建表三范式__邓治安

第一范式建表第一范式需要保证每列的原子性，即所有字段下不能再分字段，比如进货可以分为进货数量，进货单价，进货不能作为字段第二范式第二范式在第一范式的基础上，需要保证每一列都和主键相关，不能有部分依赖主键的第三范式第三范式需要保证每一列都和主键是直接相关的，不能间接相关，即消除传递依赖...

2022-04-10 16:41:38 346

转载 ssh__邓治安

1.权限认知-rwxr--rw-.十个字段由左到右分别是:1（文件类型）,2 - 4（文件所属者的权限），5 - 7（同组用户权限），8 - 10（其他人权限)r:可读 w:可写 x:可执行root root前面一个是文件所属，第二个是目前用户后面是时间和大小15：文件夹名字chmod 需要给谁的权限+什么权限文件名chmod 777 文件名字chown : 更改文件所属用户#chown-R username文档路径2.Linux自有服务开机启动服务查询

2022-04-03 20:00:49 75

原创 scrapy__邓治安

命令提示符下载需要的依赖包python -m pip install --upgrade pip 这条是更新pip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy下一步创建项目cd desktop 切换工作目录到桌面，将文件保存到桌面scrapy startproject TXmovies 创建项目cd TXmoviesscrapy gen.

2022-04-03 16:22:39 613

原创 mysql 视图事务存储过程触发器 __ 邓治安

视图 View逻辑上的虚拟表#创建视图CREATE VIEW s_t(编号,姓名,性别,出生日期)ASSELECT * FROM student WITH CHECK OPTION#查询视图SELECT * FROM s_t#部分视图创建数据CREATE VIEW s_t_2(编号,姓名,性别,出生日期)ASSELECT * FROM student WHERE NAME='卫庄' WITH CHECK OPTION #约束条件 name=‘卫庄’ 下面那条张三会报错

2022-04-03 15:55:43 951

原创 python爬取__邓治安

from urllib import requestimport re#定义urlpage=100url='https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn='+str(page)try: #定义请求头 headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, lik.

2022-03-20 20:03:26 66

原创 Shell 脚本 __邓治安

shell脚本后缀 .sh创建并打开一个sh文件 vim a.sh （touch a.sh 创建sh文件）编辑模式 i 退出编辑模式 esc 退出 shift +zz#！/bin/bash 这个必须写添加权限 chmod +x 文件名chmod +x a.sh代码示例!/bin/bashecho 'hello world'执行文件 ./a.sh输出结果 hello world变量定义变量以及输出变量使用变量时，变量前需要加上$#...

2022-03-20 19:59:08 155

原创 Mysql索引__邓治安

什么是索引？一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。为什么要有索引呢？索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查询性能提高好几

2022-03-19 18:42:57 518

原创 Python 爬虫（python 3.7）_邓治安

爬虫入门程序# 1from urllib import request# 构造一个请求req = request.Request("http://www.baidu.com")# 然后在打开网页resp = request.urlopen(req)# 读取网页内容print(resp.read())# 2#打开网页reponse=request.urlopen("http://www.baidu.com")#read方法读取网页内容print(reponse.read(

2022-03-13 13:58:11 1636

原创 Mysql基础语法_邓治安

建表建库：create database if not exists dbtest (库名) default charset utf8;create table if not exists a(id int primary key auto_increment, name varchar(20) not nullbir date);not null 非空primary key 主键，唯一 // auto_increment 自增 // int 数字...

2022-03-11 18:43:37 992

原创 Liunx 指令 ——邓治安

Linux指令

2022-03-10 21:02:04 204

m0_57120802的博客