海绵-_-b-CSDN博客

XPathlxml库功能lxml是一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据基本使用利用来解析HTML代码，并在解析时，如果HTML代码不规范，将自动进行补全from lxml import etreetext = '''<div> hello world</div>'''html = etree.HTML(text) #返回html对象#html = etree.parse('hello.html') #从文件读取ht

2022-04-07 23:25:31 2980

原创 javascript

动态添加表格内容function create_menu(infos){ /** * 根据数组infos中的内容按添加信息 * */ var table = document.getElementById('menuTable');//获取表对象 for(var i = 0;i<infos.length;i++){ table.appendChild(mk_row(infos[i]));//向表格中添加一行按钮 }}function mk_cell(htmIfno){ /**

2022-01-08 00:11:04 306

原创 window环境Eclipse配置

一、 java安装1.下载JDK至oracle官网下载对应版本JDK，并安装。建议使用与拟部署服务器相同版本。2. 配置环境变量进入JDK安装根目录，并复制路径，如：D:\Program Files\Java\jdk-15.0.2右击“我的电脑->属性”“高级系统设置->环境变量”“系统变量->新建”，新建变量：JAVA_HOME，值为JDK安装路径（D:\Program Files\Java\jdk-15.0.2）继续新建变量：CLASSPATH，值为：.;%JAVA_

2022-01-06 07:42:56 612

原创定时任务命令Crontab

一、安装检查是否安装crontab -l #报错表示未安装安装服务yum -y install vixie-cron crontabs启动服务service crond status #查看服务状态service crond start #启动服务service crond stop #关闭服务service crond restart #重启服务二、格式crontab [-u user] filecrontab [-u user] -e

2021-04-19 14:54:06 92

原创关于类变量、成员变量、局部变量和全局变量

python中类的变量可分为类变量、成员变量和局部变量class Demo(): classVar = 50 #类变量，类似静态变量，不同点，在实例中改变只影响本实例 def __init__(self,x) self.numberVar = x def fuc(self): localVar = 20 return self.numberVar + localVar def show(self): return classVar

2021-04-14 12:20:00 392

原创 scrapy数据库异步存储操作

异步保存使应用程序无需等待存储操作完成即可执行后续命令，进而提高执行效率。scrapy通过twisted框架实现，twisted为事件驱动的异步框架。使用twisted.enterprise.adbapi来创建连接池使用runlnteraction来运行插入sql语句的函数在插入sql语句的函数中，第一个非self的参数就是cursor对象，使用这个对象执行sql语句。settings.py解除Configure item pipelines的注释添加数据库信息item_pipeli

2021-03-27 17:21:00 484 3

原创 MySql数据库操作

安装PyMySql库pip install pymysql连接数据库# --coding:utf-8--import pymysqlimport time#建立连接connect = pymysql.Connect( host='localhost', #IP地址 port=3306, #端口，默认为3306，实际项目建议更改 user='xxxx', #通常为root，实际项目应更改 password='x

2021-03-25 22:32:34 60

原创 scrapy下载文件

spider.py导入用于保存文件下载信息的item类.在爬虫类中解析文件url，并保存在列表中，根据需要提取标题等其它信息返回赋值后的item类from ..items import FileItemclass MySpider(Spider): def parse(self,response): titles = response.xpath('xxxxxxxx') #list，获取文件名称列表 fileUrls = respons

2021-03-24 22:05:48 1249

原创 scrapy下载图片

spider.py导入用于保存图片下载信息的item类.在爬虫类中解析图片url，并保存在列表中，根据需要提取标题等其它信息返回赋值后的item类from ..items import ImageItemclass MySpider(Spider): def parse(self,response): titles = response.xpath('xxxxxxxxx') #list，获取网页标题 title = ''.join(ti

2021-03-24 16:11:05 618

songwei598的博客

原创正则表达式

原创网页解析工具（XPath与正则表达式）