qq_57982662的博客

原创 MySQL数据库练习题

MySQL数据库练习题之《某电子商务网站》

原创 用Python画图(四大常用图)

首要！！！下包:这里已pycharm软件为列按照指示点击：1.File2.Settings3.Project:scrapy4.Project Interpreter5.+6.Manage Repositories7.删除原有的一个...

原创 数据库索引优化

#使用库USE test;#创建表CREATE TABLE IF NOT EXISTS T1( processid INT, nextprocess INT);#创建索引CREATE INDEX IX_ProcessID ON T1(processid);#a语句不使用索引SELECT * FROM T1 WHERE nextprocess=1AND processid IN (3,6,9);#b语句强制使用索引SELECT * FROM T1 FORCE IN...

原创 Python读取csv文件

#导入pandas包并设置别名为pdimport pandas as pd#读取csv格式文件并把格式设置为DataFrame格式df=pd.read_csv("1.csv");print(df)print("-"*80)#删除空值#作用:只要一行中出现了空值(NaN)就会把这整行数据都删除。df1=df.dropna()print(df1)print("-"*80)#dropna方法中常用的参数值#语法如下:# pd.DataFrame.dropna(axis=0,h.

原创 数据库索引优化

#使用库USE HBase;#创建计数表CREATE TABLE IF NOT EXISTS cnt(id INT);#创建存储过程(用来给计数表插入数据)DELIMITER $#创建存储过程并设置名字为cntCREATE PROCEDURE cnt()BEGIN#定义一个循环变量(方法)(i 类型为int 默认值为0)DECLARE i INT DEFAULT 0;#从1到9999WHILE(i<10000) DO BEGIN #获取i...

原创 处理Java连接不上hdfs

1.删除tmp2.修改配置修改namenode的地址为具体IP(之前写的localhost)2.修改配置修改namenode的地址为具体IP（自己本机的id号）(之前写的localhost)修改slaves文件,为具体IP（自己本机的id号）3.格式化hdfshadoopnamenode–format4.启动HDFSstart-dfs.sh...

原创 Python数组

#导入numpy包下的np类import numpy as np#数组广播(对数组进行计算)#必须列都相同#创建一个一维数组，长度为4a=np.array([1,2,3,4])#创建一个一维数组，长度也为4b=np.array([10,20,30,40])#对两个数组进行计算,结果存入c内,下标对下标c=a*bprint(c)print("-"*80)#定义一个二维数组,四行三列。a=np.array([[0,0,0], [10,10,10], ...

原创 Linux设置主机名

一、设置主机名回顾：#hostname#hostname-fFQDN（全限定域名）①临时设置主机名（立竿见影），需要切换用户使之生效#hostname设置的主机名②永久设置主机名（需要重启）先找到一个文件/etc/sysconfig/network 【主机名的配置文件】修改其中的HOSTNAME为自己需要设置的永久主机名③修改linux服务器的hosts文件，将yunwei指向本地（设置FQDN）Hosts文件的位置：/etc/hosts问题.

原创 Mysql事务

#使用库USE hbase;#创建表(实验用)CREATE TABLE b(id INT);#创建事务,开始一个事务。(起点)BEGIN;#插入表数据INSERT INTO b VALUES(1),(2),(3),(4),(5);#进行回滚(就是恢复到事务之前的样子,撤回从事务开始的所有操作)ROLLBACK;#当然，如果错误就进行回滚，正确那就可以进行保存#事务确认(终点)COMMIT;#查询表SELECT * FROM b;...

原创 网络爬虫，xpath

#导入lxml包下的etree类from lxml import etree#随意定义一段html代码块s=""" <div> <ul> <li class="item-0"><a href="link1.html">aaa</a></li> <li class="item-0"><a href="link2.html">bbb&l.

原创 网络爬虫安装scrapy

首先进入cmd然后按顺序输入一下类容就好了下载时会因网速问题有时间长短，请勿退出或再输入其他内容。1.python -m pip install --upgrade pip2.pip install wheel3.pip install lxml4.pip install twisted5.pip install pywin326.pip install scrapy...

原创 虚拟机关闭和添加防火墙指令

原创 数据库事务

#使用库USE hbase;#创建表(实验用)CREATE TABLE b(id INT);#创建事务,开始一个事务。(起点)BEGIN;#插入表数据INSERT INTO b VALUES(1),(2),(3),(4),(5);#进行回滚(就是恢复到事务之前的样子,撤回从事务开始的所有操作)ROLLBACK;#当然，如果错误就进行回滚，正确那就可以进行保存#事务确认(终点)COMMIT;#查询表SELECT * FROM b;...

原创 数据库视图 超详细

#视图VIEW#默认DEFAULT#使用库USE hbase;#创建表并判断表是否已存在CREATE TABLE IF NOT EXISTS author( id INT PRIMARY KEY NOT NULL AUTO_INCREMENT, author_name VARCHAR(255) DEFAULT NULL);SELECT * FROM author;#插入数据INSERT INTO author(author_name) VALUES("Naame...

原创 Linux基础指令

1.touch指令指令：touch作用：创建文件语法：#touch文件路径【路径可以是直接的文件名也可以是路径】2.cp指令指令：cp（copy，复制）作用：复制文件/文件夹到指定的位置语法：#cp被复制的文档路径文档被复制到的路径3.mv指令指令：mv（move，移动，剪切）作用：移动文档到新的位置语法：#mv需要移动的文档路径需要保存的位置路径4.rm指令指令：rm（remove，移除、删除）作用：移除/删除文档语法：#rm选项

原创 爬取百度网页

#导包from urllib import request#定义urlurl="http://www.taobao.com"#定义请求req=request.Request(url)#下载页面resp=request.urlopen(req)#使用的是默认下载器print(resp.read().decode("utf-8"))#输出，并解析为中文

原创 MySQL数据类型

MySQL数据类型MySQL中定义数据字段的类型对你数据库的优化是非常重要的。MySQL支持多种类型，大致可以分为三类：数值、日期/时间和字符串(字符)类型。数值类型MySQL支持所有标准SQL数值数据类型。这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLEPRECISION)。关键字INT是INTEGER的同义词，关键字DEC是DECIMAL的同义词。BIT数据类型保存位字段值，并且支持

原创 Linux

基础指令1.pwd指令用法：pwd（printworkingdirectory，打印当前工作目录）2、cd指令命令：cd（changedirectory，改变目录）作用：用于切换当前的工作目录的语法：cd 路径3、mkdir指令指令：mkdir（makedirectory，创建目录）语法1：#mkdir路径【路径，可以是文件夹名称也可以是包含名称的一个完整路径】注意：ls列出的结果颜色说明，其中蓝色的名称表示文件夹，黑色的表示文件，绿色的其权限为拥有所有权限语法2：#

原创 网络爬虫正则表达式详细教程图

1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。2.正则表达式的语法规则...

原创 Linux

基础指令1、ls指令含义：ls（list）用法1：ls含义：列出当前工作目录下的所有文件/文件夹的名称用法2：#s 路径含义：列出指定路径下的所有文件/文件夹的名称关于路径（重要）：路径可以分为两种：相对路径、绝对路径。相对路径：相对首先得有一个参照物（一般就是当前的工作路径）；相对路径的写法：在相对路径中通常会用到2个符号“./”【表示当前目录下】、“../”【上一级目录下】。绝对路径：绝对路径不需要参照物，直接从根“/”开始寻找对应路径；用法3：ls 选项 路

原创 网络爬虫基础知识

1.什么是爬虫？爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。2.爬虫原理？Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。网页下载器：

原创 sql数据库基础语法

1.创建库。CREATE DATABASE IF NOT EXISTS A DEFAULT CHARSET utf8;2.使用库。USE A;3.建表。CREATE TABLE IF NOT EXISTS a(字段...略);4.插入数据。INSERT INTO a(字段名...)VALUES(对应字段名的内容);5.查询表。 SELECT * FROM a;...