- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pandas将一列按分隔符转化为多行统计
表格格式统计代码import numpy as npimport pandas as pddf = pd.read_excel("./1.xls") ## 读取表格df1=df['名称'].str.split('|',expand=True) #按照分隔符拆分名称列df1=df1.stack() # 转化为行df1=df1.reset_index(level=1,drop=True) # 重置索引df1.name='名称' # 设置列名df_new = df.drop(['名称'],
2022-03-27 14:30:56
2287
原创 使用java调用Linux服务器的shell脚本
导入依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs
2021-08-22 21:25:33
362
原创 写一台翻译机
import requestsfrom fake_useragent import UserAgentfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.w
2021-01-03 10:40:34
120
原创 vaex的使用
DataFrameimport vaeximport numpy as np# 读取vaex自带数据df = vaex.example()#读取指定列df.x#获取指定列值df.x.values#虚拟列df['r'] = np.sqrt(df.x**2 + df.y**2 + df.z**2) #构造虚拟列由来#重构表格df[['x', 'y', 'z', 'r']]#将一个内存阵列添加为一列df.add_column(name, f_or_array, dtype=None)
2020-12-09 13:09:17
3957
2
原创 MongoDB
文章目录MongoDB的介绍SQL和NoSQL的主要区别MongoDB的优势MongoDB在Ubuntu中安装MongoDB在Windows中安装运行MongoDB连接MongoDBMongoDB概念介绍MongoDB三元素mongoDB中数据库的基本使用MongoDB中集合的基础命令MongoDB的数据类型MongoDB的增删改查数据库命名规范MongoDB的增删改查mongoDB插入数据mongodb的保存MongoDB查询数据查询所有数据⽅法pretty():将结果格式化查询单条数据带有条件的查询比较
2020-09-04 21:14:13
120
原创 Scrapy
文章目录1.2 logging模块的使用1.3 爬取腾讯招聘平台案例1.4 爬取阳光热线问政平台1.5 关于回调函数无法被调用的问题1.6 setting 文件1.7 piplines的使用1.8 CrawlSpider1.9 CrawlSpider 爬取小程序社区1.10 携带cookie登陆1.11 发送post请求1.12 模拟登陆github1.13 设置随机ua与代理ip1.14 使用scrapy内置的下载文件的方法1.14.1 下载文件的 Files Pipeline1.14.2 下载图片的 I
2020-09-04 21:08:59
449
原创 mini-web框架
第一章 闭包和装饰器1.1 闭包闭包的定义在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。闭包的构成条件通过闭包的定义，我们可以得知闭包的形成条件:1.在函数嵌套(函数里面再定义函数)的前提下2.内部函数使用了外部函数的变量(还包括外部函数的参数)3.外部函数返回了内部函数#闭包的作用:可以保存外部函数的变量#闭包的形成条件# 1.函数嵌套#2. 内部函数使用了外部函数的变量或者参数# 3.外部函数返回内部
2020-08-24 15:46:13
523
原创 Mysql基础
第一章1.1 数据库介绍数据库的介绍数据库就是存储和管理数据的仓库，数据按照- -定的格式进行存储，用户可以对数据库中的数据进行增加、修改、删除、查询等操作。数据库的分类●关系型数据库●非关系型数据库关系型数据库是指采用了关系模型来组织数据的数据库，简单来说，关系模型指的就是二维表格模型，好比Excel文件中的表格，强调使用表格的方式存储数据。非关系型数据库非关系型数据库，又被称为NoSQL (Not Only SQL)，意为不仅仅是SQL，对NoSQL最普遍的定义是“非关联型的”，强调
2020-08-17 23:13:28
211
原创 前端开发基础
文章目录第一章 html1.1 html介绍1.2 常用的html标签1.3 列表标签1.4 表格标签1.5 表单标签1.6 表单提交第二章 CSS2.1 css介绍2.2 css引入方式2.3 css选择器2.4 css属性2.5 元素溢出2.6 css显示特征2.7 盒子模型第三章 JavaScript3.1 JavaScript的介绍3.2 JavaScript的使用方式3.3 变量和数据类型3.4 函数定义和调用3.5 变量作用域3.6 条件语句3.7 获取标签元素3.8 操作标签元素属性3.9 数
2020-08-17 23:13:09
195
原创 web服务器
文章目录第一章 网络编程协议1.1 IP地址介绍1.2 端口和端口号介绍1.3 TCP介绍1.4 socket的介绍1.5 TCP网络应用程序开发流程1.6 TCP 客户端程序开发1.7 TCP服务端程序开发1.8 TCP网络应用程序的注意点1.9 案例-多任务版TCP服务端程序1.10 socket之send和recv原理剖析第二章 HTTP协议和静态Web服务器2.1 HTTP协议2.2 URL2.3 查看HTTP协议的通信过程2.4 HTTP请求报文2.5 HTTP响应报文2.6 搭建Python自带
2020-08-12 14:22:46
170
原创 python自动化办公之对Excel的操作
1.1 xlrd的使用book为excel对象方法功能xlrd.open_wordbook(name)打开excel表格book.nsheets获取工作表的个数book.sheet_names()获取工作表的名字book.sheets()[index]通过索引获取工作表book.sheet_by_index(index)通过索引获取工作表book.sheet_by_name(name)通过工作表名获取工作表book.sheet_lo
2020-06-20 22:32:59
385
原创 python线程与进程
九、线程与进程9.1 多线程基本使用方法功能join()等待⼦线程结束之后，主线程继续执⾏setDaemom()守护线程，不会等待⼦线程结束threading.enumerate()查看当前线程的数量start()创建并启动线程9.2 线程的创建直接创建：threading.Thread(target=函数名)通过继承Thread类创建线程import threadingimport timeclass Main(threading
2020-06-18 14:51:44
134
原创 动态HTML技术了解
八、动态HTML技术了解8.1 ajax基本介绍动态了解HTML技术JS是⽹络上最常⽤的脚本语⾔,它可以收集⽤户的跟踪数据,不需要重载⻚⾯ 直接提交表单,在⻚⾯嵌⼊多媒体⽂件,甚⾄运⾏⽹⻚jQuery：jQuery是⼀个快速、简介的JavaScript框架,封装了JavaScript常⽤的功能代码ajax：ajax可以使⽤⽹⻚实现异步更新,可以在不重新加载整个⽹⻚的情况下,对⽹⻚的某部分进⾏更新获取ajax数据的⽅式1.直接分析ajax调⽤的接⼝。然后通过代码请求这个接⼝。2.使⽤
2020-06-13 17:12:14
460
原创 BeautifulSoup 的使用
六、BeautifulSoup 的使用Beautiful Soup 是⼀个可以从HTML或XML⽂件中提取数据的⽹⻚信息提取库6.1 基本使用方法方法功能BeautifulSoup(html_doc,‘lxml’) `获取bs对象bs.prettify()打印文档内容bs.title(标签名)获取标签内容bs.title.name获取标签名称bs.title.string获取标签里面的文本内容6.2 bs4的对象种类对象种类
2020-06-11 19:03:06
252
原创 xpath的使用
五、xpath介绍XPath（XML Path Language）是⼀种XML的查询语⾔，他能在XML树状结构中寻找节点。XPath ⽤于在 XML ⽂档中通过元素和属性进⾏导航xml是⼀种标记语法的⽂本格式，xpath可以⽅便的定位xml中的元素和其中的属性值。lxml是python中的⼀个包，这个包中包含了将html⽂本转成xml对象，和对对象执⾏xpath的功能5.1结点关系xml_content = ''' <bookstore> <book> &
2020-06-11 18:50:10
333
1
原创 python正则表达式
文章目录四、正则表达式4.1 match 对象4.2 match对象的主要方法4.2 匹配普通字符4.3 元字符4.3 预定义匹配字符集4.4 重复匹配4.5 位置匹配4.6 贪婪和非贪婪匹配4.7 匹配模式4.8 re模块常用方法4.9 分组功能四、正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”用来表达对字符串的一种过滤逻辑。4.1 match 对象特点：从第一个字符开始匹配，若第一个字符不符合则等于匹配不到m
2020-06-11 14:48:51
146
原创 python爬虫入门
文章目录一、urllib 模块1.1 状态码1.2 开发者工具1.3 get请求和post请求1.4 urllib.request 对页面发起请求1.5 urllib.parse 编码模块1.6 百度贴吧案例(get请求)1.7 有道翻译案例(post请求)二、request模块2.1 解码方式2.2 get请求2.3post请求三、利用代理设置反爬3.1 设置请求头3.2 设置Cookie3.3 设置代理IP3.4 session 身份验证3.4 处理不信任SSL证书一、urllib 模块1.1 状态
2020-06-11 13:52:08
382
原创 python
第一章 Python基础1.1 常用的dos指令指令含义md创建文件夹rd删除文件夹cd进入文件夹cd.返回上一级cd/退回到根目录del删除文件exit退出dos命令del*.txt删除目录下的.txt文件cd desktop却换到桌面1.2 文本和字符集1.2.1 文本：纯文本 富文本纯文本：只能保存单一的内容，无法保存与内容无关的东西（颜色，图片。。。）在计算机底层转化成二进制 数据富文本：
2020-05-14 20:45:51
332
原创 Java基础
第一章1.1 IDEA常用快捷键快捷键功能Alt+Enter导入包，自动修正代码Ctrl+Y删除光标所在行Ctrl+D复制光标所在行内容，插入光标位置下面Ctrl+Alt+L格式化代码Ctrl+/单行注释Ctrl+Shift+/选中代码注释多行注释Alt+Insert自动生成代码Shift+F6整体选中一个变量...
2020-04-18 09:53:03
1255
原创 Python爬取堆糖网的表情包（再也不用担心斗图失败了）
爬取堆糖网的一千张表情包import requestsimport urllib.requestheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"}opener =...
2020-04-10 19:56:12
361
原创 数据结构之稀疏数组
应用： 在某些实际问题中（比如五子棋）我们会创建一个二维数组来充当一个棋盘，而这张棋盘之中刚可能绝大部分数据均为0，而在将这组数据存入硬盘时，如果我们直接将这个二维数据保存到硬盘中，会照成大量的空间资源浪费，这时我们可以创建一个稀疏数组仅保存这个棋盘中有用的数据，从而减少空间的占用。思路：1.遍历二维数据，统计不为0的个数，总共sum个。2.创建稀疏数组sparseArray[sum+1][...
2020-03-13 14:57:38
71
原创 Java里常用的字符串方法的使用
1.String类型与char数组类型的转换public class Main { public static void main(String[] args) { String str1 = "hello"; String str2 = "Hello"; char[] charArrey = {'h', 'e', 'l', 'l', 'o...
2020-01-24 01:45:35
413
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人