- 博客(86)
- 收藏
- 关注
转载 python 爬取网页时文本乱码解决办法
爬取的网页不管是'gbk'解码还是'utf-8'解码,以下是通用的解决乱码方法先转换成二进制格式,再进行编码用requests获取网页时import requestsheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Geck...
2019-09-06 09:44:24 4219
原创 python 利用pyquery提取网页内容时,判断网页代码是否含有某标签或是否含有某class属性的标签
利用pyquery提取网页内容时,判断网页代码是否含有某标签或是否含有某class属性的标签,如span标签、img标签、a标签等
2019-09-05 10:23:25 4489
原创 python 利用内置函数filter取字符串中的数字,转为字符串(str)或整型(int)
time_ = "2019年09月04日 11:00"time_filter = filter(str.isdigit, time_)print(time_filter) # <filter object at 0x0000019358731BE0>print(type(time_filter)) # <class 'filter'>...
2019-09-04 11:08:44 4708
转载 html中设置页面定时刷新获取数据
使用场景:1.页面需要定时刷新,实时加载数据,需要实时查看监控数据(H5中的WebSocket和SSE可以实现局部刷新)2. 一定时间之后跳转到指定页面(登录注册之类)3. 前端开发使用伪数据调试html页面(修改一些js的变量值,可以自动刷新效果)1. 页面自动刷新<meta http-equiv="refresh" content="10"> {# 每...
2019-09-02 08:42:57 3568
原创 linux 将一个服务器上的文件或文件夹复制到另一个服务器
https://www.cnblogs.com/zongfa/p/8391837.html
2019-08-14 13:32:31 1535
原创 Python 爬虫:跳转页面时,网页链接(url)不变,XHR中的含有网页信息的文件链接(url)不变,解决办法
解决办法在文末问题:第一页和第二页网址相同(不变)XHR中包含网页信息的文件链接地址相同(不变)分析:点开上图中的.ashx文件(注意:此文件包含网页信息,别的网站可能为js文件)发现,文件中含有字段:PageCount和pageIndex,分别代表总页数和当前页单击.ashx文件查看请求头,可以看到 Form Data数据可点击'view source'改...
2019-08-06 16:51:37 7868 4
原创 windows Grafana的下载安装和运行登录
windows Grafana的下载安装和运行登录(修改grafana默认的ip和port)
2019-07-19 16:41:40 1762
原创 Python headers请求头快速转换为字典的一个小方法
转换前请求头如下:headers = {Accept: text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01Accept-Encoding: gzip, deflate, brAccept-Language: zh-CN,zh;q=0....
2019-07-18 09:53:12 2192
原创 ECharts 折线图数据堆叠问题解决方法
数据堆叠即:第2条数据值 = 第1条数据值 + 第2条数据值第3条数据值 = 第2条数据值 + 第3条数据值...以此类推部分代码及其图表如下:var option={ title: { text: '折线图' }, tooltip: { trigger: 'axis', axisPointe...
2019-07-10 15:35:44 22654 8
原创 Python Django中,链接地址改变但页面没有跳转,解决方法
问题如下首页页面跳转至另一页面时url代码如下:urlpatterns = [ url(r'^', views.Index, name='index'), url(r'button/(\d+)/',views.Button,name='button'),]解决办法:在首页的url地址中,添加一个$符号,确定url地址已结尾,如下:urlpa...
2019-07-01 16:55:34 2882 1
原创 数据分析之Numpy基础库(Numpy简介、CSV数据存储和加载、ndarray数组创建、数据类型和矩阵运算(索引与切片))
Numpy:提供了一个在Python中做科学计算的基础库,重在数值计算,主要用于多维数组(矩阵)处理的库。 高性能科学计算和数据分析的基础包,用来存储和处理大型矩阵,比Python自身的嵌套列表结构要高效的多。 本身是由C语言开发,是个很基础的扩展,Python其余的科学计算扩展大部分都是以此为基础。 ...
2019-05-31 10:46:40 499
原创 Django创建项目及项目中各py文件的说明
远程仓库的连接如果需要将项目上传至远程仓库,参考步骤如下,如不需要,可跳过此步骤创建项目使用pycharm打开文件manage.py:一个命令行工具,可以使你用多种方式对Django项目进行交互内层的目录:项目的真正的Python包_init _.py:一个空文件,它告诉Python这个目录应该被看做一个Python包settings.py:...
2019-04-16 22:02:22 1610
原创 Django开发环境的设置(Windows+Ubuntu+virtualenvwrapper操作+django安装+安装数据库)
Django开发环境的设置,包含Windows+Ubuntu环境的搭建、virtualenvwrapper操作、django安装、安装数据库
2019-04-16 18:56:52 198
原创 HTTP超文本传输协议
HTTP超文本传输协议、URI与URL、普通URL组成、HTTP请求方法、GET和POST的区别、HTTP工作原理、报文结构、请求头、响应头及状态码的说明
2019-04-15 22:05:20 253
原创 Git基础操作
建库、工作区、暂存区、本地仓库、远程仓库、Git的基本操作(查看状态、上传至暂存区及本地仓库、push到远程仓库,pull拉取远程仓库中的代码、clone根据连接克隆远程仓库中的代码)、分支的建立、切换与删除、用户的授权等。
2019-04-15 20:17:59 101
原创 Redis中的主从配置
一个master可以拥有多个slave,一个slave又可以拥有多个slave,如此下去,形成了强大的多级服务器集群架构设置主服务器的配置打开redis配置文件,复制redis.windows.conf文件,将副本重命名为redismaster.conf打开黑窗口,查询IP打开redismaster.conf文件保存并退出,完成。设置从服务器的配置打开re...
2019-03-27 17:28:03 89
原创 Redis常用命令
redis是key-value的数据,所以每个数据都是一个键值对键的类型是字符串值的类型分为五种:字符串string 哈希hash 列表list 集合set 有序集合zsetString类型设置键值set key value如:set name aaa设置多个键值mset key value [key value...]如:mset name bbb age ...
2019-03-27 09:13:01 62
原创 Redis在Unix/Linux虚拟系统中的安装、远程连接和添加密码
安装下载安装:sudo apt-get install redis-server停止服务:service redis stop启动服务:service redis start建立远程连接,实现Windows与虚拟系统的交互(不需要的可直接跳过):使用vi编辑器打开文件redis.conf查看模式下,使用 /bin 查找,按n查找下一个,找到bind将其...
2019-03-26 17:54:03 152
原创 Redis在Windows系统中的安装及添加密码
windows安装安装完成后,redis默认为运行状态一般情况下,使redis处于关闭状态,需要调用才开始运行打开任务管理器,将redis的状态改为‘停止’找到redis的配置文件:redis.windows.conf打开黑窗口,打开服务端:redis-server*.conf这个黑窗口不可以关闭,一旦关闭,表示断开服务端,即停止运行redis再次...
2019-03-26 15:20:43 230
原创 外部连接Unix/Linux虚拟系统中的MySQL数据库用户
在虚拟系统中的MySQL数据库中建立一个temp用户:查询虚拟系统的ip地址:在外部连接虚拟系统中的MySQL数据库temp用户时,出现如下错误:解决方法:找到mysql,说明含有mysql文件夹利用vi mysqld.cnf进入vi编辑器在bind-address前添加注释 # (点击 esc,再点击 i ,在光标前插入字符#)保存...
2019-03-21 12:00:43 150
原创 windows和Unix/Linux虚拟系统间的远程连接
远程连接操作:工作在网络上的服务器【连接工具:windows系统上安装的软件】 远程终端: 通过远程连接的一个软件,操作工作在网络上的Unix系统 主要通过软件提供的界面,发送操作命令完成远程操作 常见的远程操作软件:SecureCRT(收费)、Xshell、Termius 文...
2019-02-19 21:56:03 1245
原创 虚拟系统操作系统修改软件源
1. Ubuntu操作系统,安装好之后需要更新【软件、系统】 问题:官方的更新源,太慢了…… 2. 操作系统的软件源文件:/etc/apt/sources.list 软件源:操作系统在更新数据、更新软件、更新系统会自动从软件源中列出的网址进行下载,官方提供的网络地址一般都是国外的,速度较慢 我们在安装好类似的操作系统之后,需要修改软件...
2019-02-19 20:57:55 668
原创 虚拟系统全屏化操作
启用超级管理员账号:(超级管理员账号默认名称root) 输入当前用户的密码 输入两次超级管理员密码;建议密码直接使用root切换到超级管理员账号:复制光盘中的压缩文件到/opt文件夹中 ls 命令:查看当前文件夹中的所有文件 cp命令:复制文件的命令 * 通配符,表示所有任意字符...
2019-02-19 20:54:32 126
原创 Unix虚拟系统的安装(Ubuntu linux)
VMware虚拟机的创建VMware虚拟机管理软件 安装好管理软件,通过软件创建虚拟机【虚拟的计算机】 Ctrl+N / 文件->新建虚拟机虚拟机创建过程: 安装操作系统:Ubuntu为例编辑虚拟计算机设置,添加光盘文件设置光盘文件开启虚拟机:开机选择语言...
2019-02-19 20:28:13 3904 1
原创 关于Unix/Linux中安装中文包过程中的问题处理
1. 安装软件出现如下错误信息 错误提示:dpkg锁定了 | 被其他程序占用了… 问题原因:安装其他软件的进程正在执行、一个后台安装没有终止 解决方案:重启虚拟机,自动释放dpkg模块 dpkg模块:ubuntu中用于安装软件的核心模块 2. 安装软件出现如下错误信息: 错误提示:没有定位到xxxxxx软...
2019-02-19 19:56:07 697
原创 Unix/Linux常见操作命令
帮助手册:man 命令,查看指定命令的帮助手册 man ls 查看ls命令的帮助手册--help 选项 查看指定命令的说明手册 ls --help 查看ls命令的使用帮助文件目录操作相关命令:pwd 命令 print working directory 打印当前工作路径 查看在...
2019-02-19 18:20:54 889
原创 python基础语法~函数操作
辅助函数: dir():查询指定的某个数据~可以操作的所有函数、变量>>> dir(list)['__add__', '__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__...
2019-02-12 21:04:20 115
原创 python基础语法~组合数据类型
列表list有顺序的存储多个可以重复的数据【可变类型】 常见操作函数:1.增加数据: append()末尾追加一个数据 extend()末尾追加一组数据 insert()指定位置增加一个数据2.删除数据 del x[]根据下标/编号删除数据,如:del x[2] pop()删除列...
2019-02-12 20:09:32 711
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人