- 博客(10)
- 收藏
- 关注
RSS订阅原创 网页解析工具（XPath与正则表达式）
XPath lxml库 功能 lxml是一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据 基本使用 利用来解析HTML代码，并在解析时，如果HTML代码不规范，将自动进行补全 from lxml import etree text = ''' <div> hello world </div> ''' html = etree.HTML(text) #返回html对象 #html = etree.parse('hello.html') #从文件读取ht
2022-04-07 23:25:31
3046
原创 javascript
动态添加表格内容 function create_menu(infos){ /** * 根据数组infos中的内容按添加信息 * */ var table = document.getElementById('menuTable');//获取表对象 for(var i = 0;i<infos.length;i++){ table.appendChild(mk_row(infos[i]));//向表格中添加一行按钮 } } function mk_cell(htmIfno){ /**
2022-01-08 00:11:04
308
原创 window环境Eclipse配置
一、 java安装 1.下载JDK 至oracle官网下载对应版本JDK，并安装。建议使用与拟部署服务器相同版本。 2. 配置环境变量 进入JDK安装根目录，并复制路径，如：D:\Program Files\Java\jdk-15.0.2 右击“我的电脑->属性” “高级系统设置->环境变量” “系统变量->新建”，新建变量：JAVA_HOME，值为JDK安装路径（D:\Program Files\Java\jdk-15.0.2） 继续新建变量：CLASSPATH，值为：.;%JAVA_
2022-01-06 07:42:56
627
原创 定时任务命令Crontab
一、安装 检查是否安装 crontab -l #报错表示未安装 安装服务 yum -y install vixie-cron crontabs 启动服务 service crond status #查看服务状态 service crond start #启动服务 service crond stop #关闭服务 service crond restart #重启服务 二、格式 crontab [-u user] file crontab [-u user] -e
2021-04-19 14:54:06
98
原创 关于类变量、成员变量、局部变量和全局变量
python中类的变量可分为类变量、成员变量和局部变量 class Demo(): classVar = 50 #类变量，类似静态变量，不同点，在实例中改变只影响本实例 def __init__(self,x) self.numberVar = x def fuc(self): localVar = 20 return self.numberVar + localVar def show(self): return classVar
2021-04-14 12:20:00
407
原创 scrapy数据库异步存储操作
异步保存使应用程序无需等待存储操作完成即可执行后续命令，进而提高执行效率。scrapy通过twisted框架实现，twisted为事件驱动的异步框架。 使用twisted.enterprise.adbapi来创建连接池 使用runlnteraction来运行插入sql语句的函数 在插入sql语句的函数中，第一个非self的参数就是cursor对象，使用这个对象执行sql语句。 settings.py 解除Configure item pipelines的注释 添加数据库信息 item_pipeli
2021-03-27 17:21:00
506
3
原创 MySql数据库操作
安装PyMySql库 pip install pymysql 连接数据库 # --coding:utf-8-- import pymysql import time #建立连接 connect = pymysql.Connect( host='localhost', #IP地址 port=3306, #端口，默认为3306，实际项目建议更改 user='xxxx', #通常为root，实际项目应更改 password='x
2021-03-25 22:32:34
67
原创 scrapy下载文件
spider.py 导入用于保存文件下载信息的item类. 在爬虫类中解析文件url，并保存在列表中，根据需要提取标题等其它信息 返回赋值后的item类 from ..items import FileItem class MySpider(Spider): def parse(self,response): titles = response.xpath('xxxxxxxx') #list，获取文件名称列表 fileUrls = respons
2021-03-24 22:05:48
1276
原创 scrapy下载图片
spider.py 导入用于保存图片下载信息的item类. 在爬虫类中解析图片url，并保存在列表中，根据需要提取标题等其它信息 返回赋值后的item类 from ..items import ImageItem class MySpider(Spider): def parse(self,response): titles = response.xpath('xxxxxxxxx') #list，获取网页标题 title = ''.join(ti
2021-03-24 16:11:05
626
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人