- 博客(10)
- 收藏
- 关注
RSS订阅原创 Nginx反向代理可打开首页无法登陆解决
Nginx安装部署参考：https://blog.csdn.net/weixin_45958851/article/details/103736418问题现象浏览器访问 10.2.55.112:8080可以打开tomcat首页，登录之后浏览器地址IP会变更为10.0.110.119，由于网络隔断问题，导致系统访问失败。内网IP： 10.0.110.119 部署tomcat 端口为8080外网IP： 10.2.55.112 代理服务器nginxNginx版本nginx-1.20.1
2021-07-19 08:20:05
4529
转载 【转】爬虫常用正则、re.findall 使用
爬虫常用正则爬虫经常用到的一些正则，这可以帮助我们更好地处理字符。正则符单字符. : 除换行以外所有字符[] ：[aoe] [a-w] 匹配集合中任意一个字符\d ：数字 [0-9]\D : 非数字\w ：数字、字母、下划线、中文\W : 非\w\s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]\S : 非空白数量修饰* : 任意多次 >=0+ : 至少1次 >=1? : 可有可无 0次或者1次{m} ：固定m次
2020-09-21 13:52:30
283
原创 爬取链家网房源信息
案例代码如下，爬取链家二手房房源信息1.链家做了反爬处理，可以大量爬取，建议使用代理2.需要爬取多个区的信息，可以将区名放在list中，逐个取出，把url中的’pudong’做成一个变量，通过传参的方式遍历所有各个区import requestsimport reclass housespider(object): def __init__(self,*pg): self.url = 'https://sh.lianjia.com/ershoufang/pudong/'
2020-09-17 15:26:29
866
原创 监管雷达
监控证监会公告、证监会令、证券业协会自律规则更新信息，通过企业微信机器人推送最新内容到终端。源代码如下：from bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport requestsimport reimport timeimport osclass CsrcSpider(object): def __i
2020-09-16 16:43:17
267
原创 用百度OCR识别URL图片中的文字
标题 需要识别一些图片上的文字信息关于本地图片如何识别，可参看如下代码，原地址：[python调用百度云OCR API识别商品包装图片]from aip import AipOcr #pip install baidu-aipimport timet1=time.time()# 定义常量APP_ID = '你的AppID'API_KEY = '你的API Key'SECRET_KEY = '你的Secret Key'# 初始化AipFace对象aipOcr = AipOcr(
2020-09-16 09:45:47
1350
原创 通过Pyhton制作RPA小工具
通过Pyhton制作RPA小工具，提升工作效率1.浏览器驱动下载驱动2.通过pycharm安装所需的包3.驱动位置初始化4.启动浏览器、最大化、打开第1个url地址5.输入用户名密码5.1 在chrome浏览器中打开weibo.com5.2 浏览器最大化5.3 找所需元素a.按下键盘F12，先单击图片所示的想鼠标一样的图标，b.再单击你要选择的界面元素（用户名输入框），c.下面显示的是页面源码，被选中的代码背景色会加深d.代码中的id="loginname" 中的name 为我们所需的ide.右键页面代码选
2020-08-19 13:12:19
1368
原创 用python绘制蒙特卡洛模拟数据折线图
研究蒙特卡洛模拟算法，在excel中模拟出了数据变量，需要绘图的时候，excel会卡死，借助python绘图。参考如下教程：python使用matplotlib绘制折线图教程https://www.cnblogs.com/onemorepoint/p/7482644.html没找到上传excel附件的位置，把图片贴出来对数据做一个说明：第1行为X周，是时间单位，由于是相对时间，所以直接用数字代替第1列是模拟的次数，总共1000次，每个单元格中的数值为X所对应的y值。根据以上教程修改后的代码如
2020-08-19 10:54:08
1651
原创 Tomcat kill -9 重启
某系统服务前段页面访问超时，通过服务器查看，JAVA进程占用内存太高，服务卡死，需重启tomcat, 当前tomcat shutdows.sh 不可用，只能通过kill -9 。 而且每天早上都得做重复操作， 编写restart.sh重启，代码如下：#!/bin/shpid=`ps -ef|grep tomcat|grep -v "grep"|awk '{print $2}'`if [ "$pid" != "" ]then echo "shutdown tomcat $pid" kill
2020-07-28 09:35:18
941
原创 使用selenium后台多个chromedriver.exe导致内存使用率高
使用selenium后台多个chromedriver.exe导致内存使用率高使用selenium 实现前端可视化操作，如下代码可以打开chrome浏览器from selenium import webdriver#chrome浏览器驱动driver_path = r'./file/chromedriver.exe'#打开google浏览器driver = webdriver.Chrome(executable_path= driver_path)#浏览器全屏最大化driver.maximiz
2020-06-03 15:20:22
5817
2
原创 python爬取源代码有乱码问题解决
python爬取源代码有乱码问题解决源代码>import requests>url = 'http://www.csrc.gov.cn/pub/zjhpublic/index.htm?channel=3300/3302'>res =requests.get(url).text>print(res)直接爬取会出现乱码：对爬取的结果代码进行重新编码再解码，代码如下：>import requests>url = 'http://www.csrc.gov
2020-06-02 21:28:39
803
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人