- 博客(21)
- 收藏
- 关注
RSS订阅原创 Hadoop
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduc
2022-05-08 22:22:11
126
原创 python爬虫
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns#散点图随机生成数据x=np.random.rand(20)y=np.random.rand(20)#插入数据，设置点的形状plt.scatter(x,y,marker='x')plt.show()#随机生成数据x2=np.random.rand(20)y2=np.rand..
2022-05-08 22:19:09
530
原创 数据库 思维导图
三大数据类型：字符串：char、varchar。数值：int、float。日期：date、time、datetime、timestamp增：insert into 表名(字段名1，字段名2)values(值1，值2);删：delete from 表名 where 字段名=字段指定的值;改：update user set gender=”女” where id=4;查：基本查询：select * from 表名;查询字句：where：select * from...
2022-05-08 22:17:31
674
原创 MySQL优化
一、查询优化对于查询优化，尽量要避免全表扫描，考虑在where，order by涉及的列上建立索引1、尽量避免在where子句中对字段进行null值判断：select id from t where num is null优化后：select id from t where num=02、尽量避免在where子句中使用！=或<>3、尽量避免在where子句中使用or来连接条件：select id from t where num=0优化后：select i
2022-05-01 23:14:33
621
原创 pandas
使用前先下载pandas包，pip install pandasSeriesPandas Series 类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。import pandas as pa;print(pa.__version__)#定义字典mydataset ={ 'size':["Goole","Runoob","wiki"], 'number':[1,2,3]}#将字典转换为DataFr...
2022-05-01 23:12:53
64
原创 Hadoop
import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/*LongWritable 偏移量 Long，表示该行在文件中的位置，而不是行号* Text map阶段的输入数据 一行
2022-05-01 23:11:04
229
原创 【无标题】MySQL优化
1.MySQL范式第一范式（1NF）：数据表的每一列都要保持它的原子特性，也就是列不能再被分割。第二范式(2NF)：属性必须完全依赖于主键，消除部分依赖。第三范式（3NF）：消除传递依赖。2.MySQL查询优化count的优化 计算id大于5的城市 a. select count(*) from world.city where id > 5; b. select (select count(*) from world.city) – ...
2022-04-24 23:04:46
47
原创 numpy函数
numpy函数导包：import numpy as npprint(np.char.multiply("重复三遍 ",3))1、 将第一个首字母转转换为大写print(np.char.capitalize('hello'))2、 首字母大写print(np.char.title('i like runoob'))print('连接两个字符串：')print(np.char.add(['hello','python'],['lly','so']))3....
2022-04-24 22:57:28
68
原创 Java操作Hadoop
配置ssh免登陆生成ssh免登陆密钥cd ~，进入到我的home目录cd .ssh/ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看或ssh-copy-id -i localhost关闭所有stop-all.sh开启所有st.
2022-04-24 22:55:32
738
原创 Hbase
#第一范式：# 保存原子性#第二范式：# 完全依赖于主键，消除部分依赖# 某个属性既依赖于主键又依赖于其他属性，不能缺失一个#第三范式：# 消除传递依赖：# 某个属性既对应了主键又对应了其他属性，可以缺失其中一个#用户名，密码，注册日期，生日CREATE DATABASE IF NOT EXISTS test DEFAULT CHARSET utf8;USE test;CREATE TABLE IF NOT EXISTS test1( y_ying...
2022-04-10 22:04:34
1391
原创 安装Hadoop
一：准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) centos 7 连接：https://zhuanlan.zhihu.com/p/375497418 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hos...
2022-04-10 22:01:42
2438
原创 网络爬虫 xpath
fromlxmlimportetree#https://mirrors.aliyun.com/pypi/simple/ python仓库wb_data="""<div><ul><li class="item-0"><a href="link1.html">first item</a></li><li class="item...
2022-04-10 22:00:10
77
原创 Python爬虫
命令提示符下载需要的依赖包python -m pip install --upgrade pip 这条是更新pip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy下一步创建项目cd desktop 切换工作目录到桌面，将文件保存到桌面scrapy startproject TXmovies 创建项...
2022-04-03 22:29:56
51
原创 SQL数据库
1.创建视图create view 视图名(视图列1,视图列2) 视图列名为中文asselect * from 表名 没有指定那一列,从第一个列名开始创建with check option;2.添加视图数据、删除视图、查询视图、修改视图和表一样的用法3.创建多表视图create view 视图名(视图列1,视图列2,视图列3)asselect 列名1,列名2,列名3 from 表名1 表名1别名 left j...
2022-04-03 22:28:20
225
原创 Hadoop
ssh：安全外壳协议 端口号默认是22如果要修改,则需要修改ssh服务的配置文件 修改范围：0-65535服务启动/终止/重启service sshd start/stop/restart/etc/init.d/sshd start/stop/restart获取服务器ip地址：ifconfigpscp -r root@192.168.21.128:/etc E:\tmp #将远程linux服务器下的/etc整个目录下载到电脑windows系统的E:\tmp下 ...
2022-04-03 22:26:46
64
原创 Hadoop
一、Shell基础1、什么是shell？Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。2、创建文件vim 文件名.sh3、进入编辑模式#!/bin/bash 首行必要3、echo 'Hello World' 输出语句4、保存退出5、设置运行权限chmod +x 文件名.sh6、执行文件./文件
2022-03-20 21:08:25
1764
原创 SQL~~~
1、单独创建索引create index 索引名 on 表名(要创建索引的列名);create index index_name on emp(emp_name);2、修改表结构创建索引alter table 表名 add index 索引名(要创建索引的列名);alter table emp add index index_salary(salary);3、删除索引drop index 索引名 on 表名;drop index...
2022-03-20 21:06:40
54
原创 爬虫~~~~
from urllib import requestimport re#定义urlpage=100url='https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn='+str(page)try: #定义请求头 headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHT...
2022-03-20 21:04:44
42
原创 Linux指令_邝志康
Linux基础指令一、lsls:列出当前目录下的所有文件/文件夹的名字ls /root:列出root下的所有文件/文件夹的名字ls-l:以详细列表的形式展示ls-la、ls-a:显示所有文件/文件夹（包含了隐藏文件/文件夹）ls-lh /root:列出root下的所有文件/文件夹的名称，以列表的形式并且在显示文档大小的时候以可读性较高的形式显示二、pwd:即print working directory，打印当前目录三、cdcd …:返回到上一级目录cd /usr/local:使用绝对路
2022-03-13 22:14:33
71
原创 SQL数据库_邝志康
CREATE DATABASE IF NOT EXISTS inof DEFAULT CHARSET utf8;USE inof;CREATE TABLE IF NOT EXISTS we(sid INT PRIMARY KEY AUTO_INCREMENT,sname VARCHAR(20),gender VARCHAR(20),class_id INT);INSERT INTO we(sname,gender,class_id)VALUES(“张三”,“男”,1),(“李四”,“男”,
2022-03-13 22:06:26
54
原创 爬虫_邝志康
一：1.cookiefrom http import cookieJar2.声明MozillaCookiejar保存文件3.利用request的HTTPCookie创建cookie4.通过handler来构建operen5.创建请求6.cookie.save(ignore_discard=True,ignore_expires=True)二：定义正则 pattern=re.compile(r’a.c’)匹配res=re.match(pattern,“a9cdefg”)匹配部分字符 pa
2022-03-13 21:53:31
52
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人