- 博客(22)
- 收藏
- 关注
原创 用Python画图(四大常用图)
首要!!!下包:这里已pycharm软件为列按照指示点击:1.File2.Settings3.Project:scrapy4.Project Interpreter5.+6.Manage Repositories7.删除原有的一个...
2022-05-08 23:56:48
2984
原创 数据库索引优化
#使用库USE test;#创建表CREATE TABLE IF NOT EXISTS T1( processid INT, nextprocess INT);#创建索引CREATE INDEX IX_ProcessID ON T1(processid);#a语句不使用索引SELECT * FROM T1 WHERE nextprocess=1AND processid IN (3,6,9);#b语句强制使用索引SELECT * FROM T1 FORCE IN...
2022-05-01 21:34:32
629
原创 Python读取csv文件
#导入pandas包并设置别名为pdimport pandas as pd#读取csv格式文件并把格式设置为DataFrame格式df=pd.read_csv("1.csv");print(df)print("-"*80)#删除空值#作用:只要一行中出现了空值(NaN)就会把这整行数据都删除。df1=df.dropna()print(df1)print("-"*80)#dropna方法中常用的参数值#语法如下:# pd.DataFrame.dropna(axis=0,h.
2022-05-01 21:33:49
1113
原创 数据库索引优化
#使用库USE HBase;#创建计数表CREATE TABLE IF NOT EXISTS cnt(id INT);#创建存储过程(用来给计数表插入数据)DELIMITER $#创建存储过程并设置名字为cntCREATE PROCEDURE cnt()BEGIN#定义一个循环变量(方法)(i 类型为int 默认值为0)DECLARE i INT DEFAULT 0;#从1到9999WHILE(i<10000) DO BEGIN #获取i...
2022-04-24 22:20:53
270
原创 处理Java连接不上hdfs
1.删除tmp2.修改配置修改namenode的地址为具体IP(之前写的localhost)2.修改配置修改namenode的地址为具体IP(自己本机的id号)(之前写的localhost)修改slaves文件,为具体IP(自己本机的id号)3.格式化hdfshadoopnamenode–format4.启动HDFSstart-dfs.sh...
2022-04-24 22:16:21
482
原创 Python数组
#导入numpy包下的np类import numpy as np#数组广播(对数组进行计算)#必须列都相同#创建一个一维数组,长度为4a=np.array([1,2,3,4])#创建一个一维数组,长度也为4b=np.array([10,20,30,40])#对两个数组进行计算,结果存入c内,下标对下标c=a*bprint(c)print("-"*80)#定义一个二维数组,四行三列。a=np.array([[0,0,0], [10,10,10], ...
2022-04-24 21:57:55
994
原创 Linux设置主机名
一、设置主机名回顾:#hostname#hostname-fFQDN(全限定域名)①临时设置主机名(立竿见影),需要切换用户使之生效#hostname设置的主机名②永久设置主机名(需要重启)先找到一个文件/etc/sysconfig/network 【主机名的配置文件】修改其中的HOSTNAME为自己需要设置的永久主机名③修改linux服务器的hosts文件,将yunwei指向本地(设置FQDN)Hosts文件的位置:/etc/hosts问题.
2022-04-11 22:03:46
1797
原创 Mysql事务
#使用库USE hbase;#创建表(实验用)CREATE TABLE b(id INT);#创建事务,开始一个事务。(起点)BEGIN;#插入表数据INSERT INTO b VALUES(1),(2),(3),(4),(5);#进行回滚(就是恢复到事务之前的样子,撤回从事务开始的所有操作)ROLLBACK;#当然,如果错误就进行回滚,正确那就可以进行保存#事务确认(终点)COMMIT;#查询表SELECT * FROM b;...
2022-04-11 21:57:14
192
原创 网络爬虫,xpath
#导入lxml包下的etree类from lxml import etree#随意定义一段html代码块s=""" <div> <ul> <li class="item-0"><a href="link1.html">aaa</a></li> <li class="item-0"><a href="link2.html">bbb&l.
2022-04-11 21:56:01
323
原创 网络爬虫安装scrapy
首先进入cmd然后按顺序输入一下类容就好了下载时会因网速问题有时间长短,请勿退出或再输入其他内容。1.python -m pip install --upgrade pip2.pip install wheel3.pip install lxml4.pip install twisted5.pip install pywin326.pip install scrapy...
2022-04-03 21:48:21
965
原创 数据库事务
#使用库USE hbase;#创建表(实验用)CREATE TABLE b(id INT);#创建事务,开始一个事务。(起点)BEGIN;#插入表数据INSERT INTO b VALUES(1),(2),(3),(4),(5);#进行回滚(就是恢复到事务之前的样子,撤回从事务开始的所有操作)ROLLBACK;#当然,如果错误就进行回滚,正确那就可以进行保存#事务确认(终点)COMMIT;#查询表SELECT * FROM b;...
2022-04-03 19:31:57
392
原创 数据库视图 超详细
#视图VIEW#默认DEFAULT#使用库USE hbase;#创建表并判断表是否已存在CREATE TABLE IF NOT EXISTS author( id INT PRIMARY KEY NOT NULL AUTO_INCREMENT, author_name VARCHAR(255) DEFAULT NULL);SELECT * FROM author;#插入数据INSERT INTO author(author_name) VALUES("Naame...
2022-03-26 16:03:17
567
原创 Linux基础指令
1.touch指令指令:touch作用:创建文件语法:#touch文件路径【路径可以是直接的文件名也可以是路径】2.cp指令指令:cp(copy,复制)作用:复制文件/文件夹到指定的位置语法:#cp被复制的文档路径文档被复制到的路径3.mv指令指令:mv(move,移动,剪切)作用:移动文档到新的位置语法:#mv需要移动的文档路径需要保存的位置路径4.rm指令指令:rm(remove,移除、删除)作用:移除/删除文档语法:#rm选项
2022-03-26 15:57:35
987
原创 爬取百度网页
#导包from urllib import request#定义urlurl="http://www.taobao.com"#定义请求req=request.Request(url)#下载页面resp=request.urlopen(req)#使用的是默认下载器print(resp.read().decode("utf-8"))#输出,并解析为中文
2022-03-26 15:48:26
118
原创 MySQL数据类型
MySQL数据类型MySQL中定义数据字段的类型对你数据库的优化是非常重要的。MySQL支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。数值类型MySQL支持所有标准SQL数值数据类型。这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC),以及近似数值数据类型(FLOAT、REAL和DOUBLEPRECISION)。关键字INT是INTEGER的同义词,关键字DEC是DECIMAL的同义词。BIT数据类型保存位字段值,并且支持
2022-03-20 13:35:12
724
原创 Linux
基础指令1.pwd指令用法:pwd(printworkingdirectory,打印当前工作目录)2、cd指令命令:cd(changedirectory,改变目录)作用:用于切换当前的工作目录的语法:cd 路径3、mkdir指令指令:mkdir(makedirectory,创建目录)语法1:#mkdir路径【路径,可以是文件夹名称也可以是包含名称的一个完整路径】注意:ls列出的结果颜色说明,其中蓝色的名称表示文件夹,黑色的表示文件,绿色的其权限为拥有所有权限语法2:#
2022-03-20 13:29:41
776
原创 网络爬虫正则表达式详细教程图
1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。2.正则表达式的语法规则...
2022-03-20 13:18:07
101
原创 Linux
基础指令1、ls指令含义:ls(list)用法1:ls含义:列出当前工作目录下的所有文件/文件夹的名称用法2:#s 路径含义:列出指定路径下的所有文件/文件夹的名称关于路径(重要):路径可以分为两种:相对路径、绝对路径。相对路径:相对首先得有一个参照物(一般就是当前的工作路径);相对路径的写法:在相对路径中通常会用到2个符号“./”【表示当前目录下】、“../”【上一级目录下】。绝对路径:绝对路径不需要参照物,直接从根“/”开始寻找对应路径;用法3:ls 选项 路
2022-03-13 22:34:01
65
原创 网络爬虫基础知识
1.什么是爬虫?爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息。2.爬虫原理?Python 爬虫架构主要由五个部分组成,分别是调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)。调度器:相当于一台电脑的CPU,主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器:包括待爬取的URL地址和已爬取的URL地址,防止重复抓取URL和循环抓取URL,实现URL管理器主要用三种方式,通过内存、数据库、缓存数据库来实现。网页下载器:
2022-03-13 22:24:32
127
原创 sql数据库基础语法
1.创建库。CREATE DATABASE IF NOT EXISTS A DEFAULT CHARSET utf8;2.使用库。USE A;3.建表。CREATE TABLE IF NOT EXISTS a(字段...略);4.插入数据。INSERT INTO a(字段名...)VALUES(对应字段名的内容);5.查询表。 SELECT * FROM a;...
2022-03-13 22:01:00
862
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人