- 博客(16)
- 收藏
- 关注
RSS订阅原创 爬虫数组操作类（1）----刘雯丽
切片与索引ndarray对象的内容可以通过索引或切片来访问和修改，与 Python 中 list 的切片操作一样。ndarray 数组可以基于 0 - n 的下标进行索引，切片对象可以通过内置的 slice 函数，并设置 start, stop 及 step 参数进行，实例import numpy as npa = np.arange(10)s = slice(2,7,2) # 从索引 2 开始到索引 7 停止，间隔为2#b = a[2:7:2] # 从索引 2 开始到索引 ...
2022-05-08 19:31:43
125
原创 爬虫Xpath-----刘雯丽
Xpath是什么：是一门在XML文档中查找信息的语言。 XML文档包括: HTML/XHTML XML/XMLNamespacesXPath的节点:请看下面这个XML文档：<?xmlversion="1.0"encoding="UTF-8"?><bookstore><book><titlelang="en...
2022-05-08 18:45:47
52
原创 numpy函数---刘雯丽
（上课笔记篇）Numpy中常用的数据结构是ndarray格式使用array函数创建，语法格式为array(列表或元组)可以使用其他函数例如arange、linspace、zeros等创建import numpy as nparr1 = np.array([-9, 7, 4, 3])arr1array([-9, 7, 4, 3])type(arr1) # n维数组numpy.ndarrayarr1 = np.array([-9, 7, 4, 3], dtype='str')ar...
2022-04-24 18:32:00
590
原创 java操作hfds----刘雯丽
获取hdfs文件系统对象java操作hdfs，需要先获取到文件对象，执行url和用户名等，连接配置很多，需要实际项目需要时补充，基础可用的简单代码如下：private static String hdfsPath = "hdfs://192.168.139.9:9000";/*** 获取HDFS文件系统对象** @return* @throws Exception*/private static FileSystem getFileSystem() throws Except...
2022-04-24 18:28:50
181
原创 mysql优化--刘雯丽
应尽量避免在 where 子句中使用 != 或 <> 操作符，否则将引擎放弃使用索引而进行全表扫描对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num列上设置默认值 0 ，确保表中num列没有null值，然后这样查询：select id from t
2022-04-24 18:26:22
358
原创 HBASE基础
自定义函数：create function getusername(userid int) returns varchar(32)reads sql data -- 从数据库中读取数据，但不修改数据begin declare username varchar(32) default '';select name into username from users where id=userid;return username;end;repeat 语句:cre...
2022-04-10 19:11:54
1861
原创 hadoop--刘雯丽
（上课记录）1.准备Linux环境1.1 开启网络,ifconfig指令查看ip1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop1.4关闭防火墙 #查看防火墙状态 service iptables status #关闭...
2022-04-03 14:05:19
404
原创 hbase--刘雯丽
（上课记录）1：视图视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select语句保存在数据字典中的。2：mysql事务MYSQL 事务处理主要有两种方法：用 BEGIN, ROLLBACK, COMMIT来实现 BEGIN 开始一个事务 ROLLBACK 事务回滚 COMMIT 事务确认直接用 SET 来改变 MySQL 的自动提交模式: SET AUTOCOMMIT=0 禁止自动提交 SET AUTOCOMMIT=1 开启自动提交3：提交事务
2022-04-03 14:03:33
65
原创 爬取——刘雯丽
先在cmd中安装scrapypython -m pip install --upgrade pippip install wheelpip install lxmlpip install twistedpip install pywin32pip install scrapy
2022-04-03 13:00:50
57
原创 数据库索引——刘雯丽
CREATE DATABASE IF NOT EXISTS info DEFAULT CHARSET utf8;USE info;#创建表CREATE TABLE IF NOT EXISTS emp(emp_id INT PRIMARY KEY AUTO_INCREMENT,emp_name VARCHAR(20),salary INT,dept_id INT,manager_id INT);#1.创建索引，单独创建索引SELECT * FROM emp WHERE emp_name
2022-03-20 11:46:15
271
原创 三表关联——刘雯丽
CREATE DATABASE IF NOT EXISTS info DEFAULT CHARSET utf8;USE info;#创建学生表CREATE TABLE IF NOT EXISTS stu(NO INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(20));#插入数据INSERT INTO stu(NAME)VALUES("张三"),("李四"),("王五"),("田七"),("钱八"),("小小");#创建科目表CREATE TAB
2022-03-20 11:43:21
3318
原创 爬取简单网页——刘雯丽
（以“搞笑吧”为例）from urllib import requestimport repage=100url='https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn='+str(page)try: #请求头 headers={'User-Agent':' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML,
2022-03-20 11:38:17
62
原创 数据库——刘雯丽
create database MyDB_three charset utf8;select * from 表名 where 查询条件delete 表名 where 删除条件insert into 表名(字段1,字段2,……) values('值1','值2',……)update 表名 set 字段名=新值 where 修改条件SQL UNION ALL 语法SELECT column_name(s) FROM table1UNION ALLSELECT column_nam...
2022-03-19 13:56:35
279
原创 爬虫基础——刘雯丽
#1.爬虫入门程序import urllib.requestimport urllib.error#定义网址url="http://www.baidu.com"#访问网址responsel=urllib.request.urlopen(url)#获取响应码print(responsel.getcode())#打印print(responsel.read())#2.爬虫程序添加data、header，然后post请求import urllib.request#定义URLur.
2022-03-13 13:24:48
1490
原创 linux指令——刘雯丽
1.基础指令语法，举例2.中级指令语法，举例3.高级指令语法，举例初级初级初级初级初级初级初级初级初级初级初级初级初级初级初级初级初级初级1.ls指令含义:列出当前（或指定）工作目录下的所有文件或文件夹名称用法1：#ls用法2：#ls路径用法3：#ls选项路径#ls-l路径#ls-la路径选项解释-l：表示list，表示以详细列表的形式进行展示-a：表示显示所有的文件/文件夹（包含了隐藏文件/文件夹）2.pwd指令用法：#pwd（printworkingdirect
2022-03-12 20:24:18
1329
原创 SQL基础语法_刘雯丽
#1.建库建表语法，字段数据类型, 需要案例#2.增删改查语法，需要案例#3.表关联查询，需要案例#创建库CREATE DATABASE IF NOT EXISTS zuoye DEFAULT CHARSET utf8;#使用库USE zuoye;#插入数据CREATE TABLE IF NOT EXISTS shuju(id INT PRIMARY KEY AUTO_INCREMENT,username VARCHAR(20) NOT NULL UNIQUE,PASSWORD VAR
2022-03-12 19:33:00
711
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人