樊豆豆123-CSDN博客

原创 python解析数据方法BeautifulSoup()

一、首先回忆下html的用法二、爬虫原理三、BeautifulSoup—— 解析和提取网页中的数据用法：bs对象=BeautifulSoup(要解析的文本，‘解析器’)第0个参数是要被解析的文本，它必须是字符串第1个参数用来标识解析器，我们要用的是一个Python内置库：html.parser（它不是唯一的解析器，但是比较简单的）import requestsfrom bs4 import BeautifulSoupres = requests.get('.

2021-12-30 22:01:22 1632 2

原创 python爬虫入门

爬虫的工作原理一、获取数据。爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。 requests.get()二、解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。response.content（下载图片）、response.text（下载文字、网页源代码）三、提取数据。爬虫程序再从中提取出我们需要的数据。四、储存数据。爬虫程序把这些有用的数据保存起来，便于你日后的使用和分析。例1：获取文章《HTTP状态响应码》全部内容，并且打印出全文内容。..

2021-12-28 21:30:22 540

原创 python设置excel表样式

应用场景：将数个excel表的格式调整成统一的思路：一、打开工作表import os# 设置文件夹路径path='./test/'# 返回当前目录下所有文件名files = os.listdir(path)# 循环文件名列表for file in files: # 拼接文件路径 file_path = path + file # 打开工作簿 wb = load_workbook(file_path) # 打开工作表 ws

2021-12-26 11:18:25 5432 3

转载 Python-openpyxl对Excel的操作（获取总行列数，获取某行值，获取某列值，设置单元格值）

转载至https://www.cnblogs.com/dmtz/p/11091090.htmlfrom openpyxl import *class excel(): def __init__(self,file): self.file = file self.wb = load_workbook(self.file) sheets = self.wb.get_sheet_names() self.sheet = sheets

2021-11-08 17:08:00 3801

原创 python实现excel数据筛选和数据匹配

数据筛选：根据实际需要输出筛选结果，或将筛选结果保存起来。总结起来可以分为三类：① 将筛选的结果存入学过的数据结构里，比如：列表，元组或字典。② 将筛选的结果存入文件中。③ 将筛选的结果打印出来。#迟到时间超过45分钟且迟到过3次以上的员工记为考勤不合格,需要把筛选后的结果保存为【10月迟到人员信息.xlsx】，并将整理后的信息上报给领导#思路：获取数据->使用数据->输出数据# 1、遍历表的每一行，比较迟到时间和迟到次数，如果为不合格，将该行信息追加到新建的表中fro

2021-11-07 22:13:24 10464

原创 python读取文件和写入文件

#读取文件内容#设置文件路径target_file='D:/test.txt'#打开文件file=open(target_file,'r',encoding='utf-8')#读取文件内容content=file.read()print(content)#关闭文件file.close()#判断是否有关键词key_word=input('输入要查找的关键词：')if key_word in content: print('妙啊，文件{}包含了关键词：{}'.format(t.

2021-11-07 18:21:35 355

原创用python处理excel文件的四种场景

①单元格读写、②按行读写、③按行取数计算、④按行取数存为字典①读取单元格的数据，原样写入，其他已有的工作簿#读取单元格的数据，原样写入，其他已有的工作簿from openpyxl import load_workbook#打开工作簿s=load_workbook('D:/10月绩效表.xlsx')s1=load_workbook('D:/小王工资表.xlsx')#获取活动工作表active_s=s.activeactive_s1=s1.activeactive_...

2021-11-07 18:18:27 638

原创 python将字典转换为excel

需要安装：pip install xlwt pip install pandas#将字典导出为excelimport xlwtimport pandas as pddef export_excel(export): #将字典列表转换为DataFrame pf = pd.DataFrame(list(export)) #指定字段顺序 order = ['编号','姓名','部门','绩效','奖金','基本工资'] ...

2021-11-07 17:30:13 9619 3

原创 python实现文件读取及写入内容

读取文件步骤：1、打开文件，使用open()，获取一个文件对象2、读取文件内容,文件对象.read()3、关闭文件，文件对象.close()文件写入也有三个步骤：打开 — 写入 — 关闭。内置函数open()，可以用来打开一个文件并返回一个文件对象。该函数有三个重要的参数：1.参数file，要打开文件的路径（相对路径或绝对路径）2.参数mode，我们可以根据需要，选择读模式'r'，写模式'w'或追加模式'a'。import os#设置文件路径target_file='E...

2021-09-07 17:16:19 1134

原创 python基础语法——函数

函数的定义：#函数名：最好是取体现函数功能的名字，一般用小写字母和单下划线、数字等组合def greet(name):#参数：根据函数功能，括号里可以有多个参数，也可以不带参数，命名规则与函数名相同#规范：括号是英文括号，后面的冒号不能丢 print(name+'早上好')#函数体：函数体就是体现函数功能的语句，要缩进，一般是四个空格 return 函数的调用：输入函数名和参数对应的值def pika2(name): print('我最喜爱的神奇宝贝是

2021-07-13 22:22:39 152

原创 python学习思维

1.知识学完就忘 >用法查询笔记：知识点是什么 >深度理解笔记：什么时候需要用到这个知识？这个知识有什么常见用法？这个知识和其他知识有什么不同？ >知识管理2.缺乏解题能力 >分析问题，明确结果 >思考需要的知识，或搜索新知识>思考切入点 >尝试解决问题的一部分 >重复1-4步案例：打印九九乘法表#打印九九乘法...

2021-07-11 11:28:43 273

原创 python基础语法——布尔运算、break、continue、pass

布尔运算：and、or、not、in、not inbreak语句：是用来结束循环的，一般写作if...break，写法如下：# break语句搭配for循环for...in...: ... if ...: break# break语句搭配while循环while...(条件): ... if ...: breakif...break的意思是如果满足了某一个条件，就提前结束循环。记住，这个只能在循环内部使用。for i

2021-07-10 15:45:00 261

原创 python基础语法——循环

for...in...循环语句for i in [1,2,3,4,5]: print(i)除了列表，字典，字符串三种数据类型，可以遍历其他的数据集合。比如和for循环常常一起搭配使用的：range() 函数。#用for循环完成1到100的整数分别乘以5的计算，并打印出来for i in range(1,101): print(i*5)#假设你要做大采购，让小明买醋，小红买油，小白买盐，小张买米d = {'小明':'醋','小红':'油','小白':'盐','小

2021-07-10 15:17:33 1356

原创 python基础语法——列表、字典

input()函数不管我们在终端区域输入什么，input()函数的输入值一定是字符串强制转换choice = int(input('请输入您的选择：'))

2021-07-10 12:25:22 335

原创 python基础语法——条件判断、input()

条件判断的3种形式：单向判断 if双向判断 if... else...多向判断：if...elif...else...案例1单向判断：stonenumber=6#为宝石数量赋值if stonenumber>=6: #条件：如果你拥有的宝石数量大于等于6个 print('你拥有了毁灭宇宙的力量') #结果：显示‘你拥有了毁灭宇宙的力量’的结果注意：if下一行的缩进案例2双向判断：weight=int(input('酱酱的体重？'))i

2021-07-08 21:24:29 731 1

原创基础语法--print()函数、转义字符、数据类型

print()函数由两部分构成：1. 指令：print；2. 指令的执行对象：在print后面的括号里的内容print()函数运行原理：（0）向计算机发出指令：“打印XXX”；（1）Python把这行代码编译成计算机能听懂的机器语言；（2）计算机做出相应的执行；（3）最后把打印结果呈现在我们面前。print('一起玩吧')#括号内是单引号的情况。print("一起玩吧")#括号内是双引号的情况。print("Let's play")#括号内单双引号同时存在的情况。

2021-07-06 21:32:20 1407

原创 python初体验-高效办公、数据分析、爬虫

python学习体系编程学习代码的书写习惯高效办公案例：获取所有文件夹名称步骤：代码：数据分析案例：显示数据分析结果步骤：计算方式：代码：成绩分析练习介绍：老王是一名的风变小学五年级二班的班主任，他在学完了今天这一关后想对班上 40 名同学的这次月考成绩和一班成绩做个对比，看看班级里的同学的平均分是比一班高还是比一班低。题目要求：使用 describe() 将两个班级的成绩表平均值打印出来import pandas

2021-07-02 21:13:18 297 3

原创 linux 系统常用命令

linux 系统常用命令1、file: 判断文件类型常见文件类型：字符设备（c）所有输入输出的设备块设备（b）所有存储设备称为块设备目录文件（d）普通文件（f或-）2、ls:列出目录内容-a 查看目录下的所有文件，包括隐藏文件-l 长列表显示-t 按修改时间排序-r 逆序排列-d 只列出目录名-S 按文件...

2021-03-01 21:58:47 113

原创 linux的目录树结构

/root:管理员的家目录/home：普通用户的默认家目录/bin->/usr/bin:普通用户的命令/sbin->/usr/sbin:管理员使用的命令/usr/local:第三方源码包默认安装目录/etc:系统和服务相关配置文件/var:动态变化的数据文件，例如日志文件/tmp:临时文件存放目录/dev:设备文件/lib->/usr/lib:库文件/lib64->/usr/lib64:库文件/proc:系统的虚拟文件/boot:系..

2021-02-21 22:04:45 152

原创从本机到vmware win7虚拟机传输文件卡顿问题的解决

安装了vmware之后，安装了win7虚拟机，从本机到虚拟机传输文件过程中，虚拟机总是卡死，只能重启电脑解决。今天想到利用共享文件来传输文件，避免了这类问题的出现。1、点击虚拟机-设置-选项-共享文件夹-添加，在本机上新建文件夹2、在win7虚拟机内右键计算机-映射网络驱动器-浏览，可以看到在本机上建的共享文件夹3、点击计算机后，也可以看到该文件夹，虚拟机和本机可以借助此共...

2020-02-13 18:36:47 4855 1

原创 6影像合成之动态效果

效果一步骤1：导入两幅图步骤2：选择魔棒工具，在第一幅图的空白位置单击，以选中白色区域，按shift+ctrl+I反选，然后按ctrl+c复制到第二幅图，ctrl+V粘贴，并调整好位置步骤3：选中“背景”图层，单击“滤镜|模糊|径向模糊”，设置参数效果二：步骤1：导入图片步骤2：使用桃酥工具选中人物步骤3：点击“选择|修改羽化”，“羽化半

2017-03-22 18:04:27 940

原创 6影像合成之视觉冲突

步骤1：导入图片步骤2：单击“滤镜|模糊|径向模糊”，并设置参数步骤3：单击“图像|调整|亮度/对比度”，设置参数

2017-03-22 16:56:23 802

原创 6影像合成之边缘效果

效果一步骤1：按D键，将前景色设为黑、背景色设为白，导入图片，采用椭圆选框工具步骤2：单击“选择|羽化”，设置“羽化半径”为30步骤3：按“ctrl+shift+I”反选，按“alt+delete”用前景色填充区域步骤4：按“ctrl+d”取消选区效果二步骤1：按D键，将前景色设为黑、背景色设为白，导入图片，采用椭圆选框工具步骤2：单击工具箱中的“以

2017-03-19 21:42:03 493

原创 6影像合成之淡化效果

步骤1：按D键将前景色设为黑、背景色设为白，然后导入图片步骤2：打开图层调板，将“背景”图层拖到调板底部的“创建新图层”按钮上，生成“背景副本”图层步骤3：选中“背景”图层，单击“编辑|填充”，设置参数步骤4：选择渐变工具，设置属性渐变样式为“前景色到背景色渐变”，渐变类型为“线性渐变”步骤5：选中“背景副本”，使其成为当前图层，单击模板底部的“添加蒙版”按钮步

2017-03-19 20:59:58 1073

转载一共有n个人,给定m对好友关系,好友的好友也算一个朋友圈,问n个人中一共有几个朋友

题目：假如已知有n个人和m对好友关系（存于数字r）。如果两个人是直接或间接的好友（好友的好友的好友...），则认为他们属于同一个朋友圈，请写程序求出这n个人里一共有多少个朋友圈。假如：n = 5 ， m = 3 ， r = {{1 , 2} , {2 , 3} , {4 , 5}}，表示有5个人，1和2是好友，2和3是好友，4和5是好友，则1、2、3属于一个朋友圈，4、5属于另一个朋友圈，结果为2

2016-10-26 17:30:28 4964

转载 request、session、application的生命周期

（1）. request对象内数据的存活范围就是在request对象的存活范围内，当客户端向服务器端发送一个请求，服务器向客户端返回一个响应后，该请求对象就被销毁了；之后再向服务器端发送新的请求时，服务器会创建新的request对象，该request对象与之前的request对象没有任何关系，因此也无法获得在之前的request对象中所存放的任何数据。（2） sessio

2016-10-09 17:13:25 3328

转载为什么说B+树比B 树更适合实际应用中操作系统的文件索引和数据库索引？

1) B+树的磁盘读写代价更低 B+树的内部结点并没有指向关键字具体信息的指针。因此其内部结点相对B 树更小。如果把所有同一内部结点的关键字存放在同一盘块中，那么盘块所能容纳的关键字数量也越多。一次性读入内存中的需要查找的关键字也就越多。相对来说IO读写次数也就降低了。举个例子，假设磁盘中的一个盘块容纳16bytes，而一个关键字2bytes，一个关键字具体信息指针

2016-10-08 16:38:31 1784 1

原创 HashMap、HashTable、ConcurrentHashMap

HashMap源码：public class HashMap extends AbstractMap //注意1 implements Map, Cloneable, Serializable { public V put(K key, V value) { //注意2 if (key == null) //注意3 re

2016-10-07 10:36:06 386

转载 JAVA不可变类(immutable)机制与String的不可变性

一、不可变类简介不可变类：所谓的不可变类是指这个类的实例一旦创建完成后，就不能改变其成员变量值。如JDK内部自带的很多不可变类：Interger、Long和String等。可变类：相对于不可变类，可变类创建实例后可以改变其成员变量值，开发中创建的大部分类都属于可变类。二、不可变类的优点说完可变类和不可变类的区别，我们需要进一步了解为什么要有不可变类？这样的特性对JAVA

2016-10-07 09:32:07 686

原创二叉树的层次遍历

层次遍历：a.访问根节点b.从左到右访问第2层的所有节点c.从左到右访问第3层的所有节点，。。。。package pac1;public class Demo22 { /** * @param args * 层次遍历二叉树 */ public static void main(String[] args) { // TODO Auto-ge

2016-09-23 17:37:04 478

原创判断一个数的阶乘的末尾有几个0

思路：能产生0的质数组合只有2*5，然后问题就转变成了对N!进行质数分解后，一共有几个5，因为2的个数显然多于5。比如计算25!的末尾0的个数，包含5的数有5,10,15,20,25,其中25中包含两个5，所以一共包含6个5,25!的末尾有6个0.public static void main(String[] args) { // TODO Auto-generated method s

2016-09-23 17:23:49 6107

原创 struts1和struts2的区间

从action类上分析:1.Struts1要求Action类继承一个抽象基类。Struts1的一个普遍问题是使用抽象类编程而不是接口。 2. Struts 2 Action类可以实现一个Action接口，也可实现其他接口，使可选和定制的服务成为可能。Struts2提供一个ActionSupport基类去实现常用的接口。Action接口不是必须的，任何有execute标识的POJO对象都可以

2016-09-22 20:29:29 304

转载 java解析xml的几种方式

第一种：DOM。DOM的全称是Document Object Model，也即文档对象模型。在应用程序中，基于DOM的XML分析器将一个XML文档转换成一个对象模型的集合（通常称DOM树），应用程序正是通过对这个对象模型的操作，来实现对XML文档数据的操作。通过DOM接口，应用程序可以在任何时候访问XML文档中的任何一部分数据，因此，这种利用DOM接口的机制也被称作随机访问机制。DOM树所

2016-09-22 19:33:39 336

转载 java中为什么要实现序列化，什么时候实现序列化？

序列化就是一种用来处理对象流的机制，所谓对象流也就是将对象的内容进行流化,将数据分解成字节流，以便存储在文件中或在网络上传输。可以对流化后的对象进行读写操作，也可将流化后的对象传输于网络之间。序列化是为了解决在对对象流进行读写操作时所引发的问题。序列化的实现：将需要被序列化的类实现Serializable接口，该接口没有需要实现的方法，implements Serializable只是

2016-09-22 16:39:10 1327

原创判断一个存放整数序列的单链表是否对称——栈的应用

基本思想：扫描链表的所有节点并一一进栈，然后再扫描链表，和栈顶元素作比较，如果都相同，返回true，否则返回falsepackage pac1;class Node{ public Node next; //指针域 public int data; //数据域 public Node(int data) { this.data = data; } public vo

2016-09-21 22:01:43 3765

原创二叉树的先序遍历、中序遍历以及后序遍历(递归以及非递归方式)

二叉树的遍历方式有两种：一种是比较简单的递归方式，另一种是借助栈实现的循环方式1.先序遍历a.先访问根节点b.先序遍历左子树c.先序遍历右子树对应的递归算法：public void preOrder(BNode root){ if(root==null) return; else{ System.out.print(root.data+" ");

2016-09-21 11:31:38 901

原创鸽巢排序、桶排序

鸽巢排序：用数组c表示鸽巢，索引位置表示值，索引位置的值表示出现次数，然后遍历数组c，输出数组值次数组索引。package pac1;public class Demo { /** * @param args * 鸽巢排序 */ public static void main(String[] args) { // TODO Auto-generated meth

2016-09-20 09:58:25 1249

转载提高mysql千万级大数据SQL查询优化30条经验

转自: http://www.jincon.com/archives/120/1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在

2016-09-19 10:03:06 326

原创采用带头节点的单链表保存单词，返回两个链表共同后缀的起始位置

这里数据域设为int类型，其实String也是一样的思路一：1.对于链表str1和str2，分别求出两个链表的长度m和n，2。p指向str1的头节点，q指向str2的头节点，当m大于等于n，p向后移动m-n+1个节点，当n大于m，q向后移n-m+1，总之，要保证p和q所指的节点到链表尾的长度相等。3.反复将指针p和q同步后移，并判断它们是否指向同一个节点，若指向同一点，则返回共同后

2016-09-14 11:27:51 5656 1

原创查找链表中倒数第k个节点，若查找成功，返回数据域的值

有两种思路：思路一：首先遍历一遍链表，得到链表长度n，然后返回n-k+1个节点的数据域思路二：定义两个指针p和q，都指向头节点的下一个节点，等到p移动到第k个节点，q和p同步移动，等到p移动到链表尾时，q指向的就是倒数第k个节点思路一相当于遍历两遍链表，思路二则遍历了一遍链表，思路二更优//找链表中倒数第k个位置上的节点，若查找成功，返回data域的值 //思路：首先遍历一遍链表

2016-09-14 09:46:30 1958