爬虫-获取草榴论坛-达盖尔帖子列表和图片

学习Python有段时间了,也根据网上的指导写过了爬取壁纸网站壁纸的爬虫。最近又手痒想试试爬取论坛,试试从获取帖子列表,进一步获取帖子名称和帖子链接。再进一步跳转到帖子中,获取帖子内容。 一、这次和上次一样使用requests库来获取网站内容。使用BeautifulSoup来解析获取到的html...

2019-08-20 23:33:17

阅读数 6914

评论数 0

搭建TFTP服务器并自定义tftp根目录

搭建kickstart环境需要用到tftp服务。使用yum安装tftp后想修改一下tftp默认的文件存放路径。 网上看了半天都是说要修改/etc/xinit.d/tftp文件的。跟着做了一遍,发现默认路径根本就没变。接着开始查各种配置文件。最后发现网上的说法都特么是扯淡。各位在博客上写答案的不知道...

2018-12-12 22:57:56

阅读数 1024

评论数 4

配置Apache+Tomcat+mod_jk软件环境

最近发现一台生产机上的Apache目录丢失,导致部分用户登录系统失败。为了解决这个问题决定重装Apache和mod_jk。因为手头没有原来版本的Apache2.2所以从网上新下了一个2.4使用, 需要准备的基础环境包括yum安装gcc-c++ expat-devel。 需要下载httpd2.4...

2018-09-07 10:34:34

阅读数 123

评论数 0

vmWare虚拟机能上网,但是从本地计算机ping不通

昨天一直能连接上的虚机centos的xhell突然连不上了,ping也不通,Telnet也不通。赶紧从vm的workstations等上去看了一眼, ifconfig看到网卡都启动,没有报错。试了试ping网关发现也能通 systemctl status firewalld.serv...

2018-08-10 10:15:39

阅读数 2046

评论数 2

DNS消息格式

DNS消息格式、DNS消息格式分为5段分别是 Header Question(查询nameserver的问题) Answer(回答问题的资源记录) Authority(指向权威的资源记录) Additional(附加信息的资源记录) 其中...

2018-07-17 22:36:14

阅读数 169

评论数 0

Django2.1遇到 app_label and isn't in an application in INSTALLED_APPS 错误

Django在应用列表中添加新的应用时有时会出错 INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django....

2018-06-14 17:35:45

阅读数 2991

评论数 2

Django使用mysql8.0作为数据库遇到的问题解决

mysql作为Django web项目的数据库,昨天晚上进行了mysql升级,升级到了8.0。数据都没啥问题但是等用Django连接数据库的时候出现报错: django.db.utils.OperationalError: (1045, "Access denied for u...

2018-06-07 09:01:33

阅读数 1425

评论数 2

Python-协程操作文件内容

先放代码,等会儿有空了再做说明 #-*- coding:UTF-8 -*- import dns.resolver import os,time import httplib2 import asyncio now = lambda : time.time()#定义一个获取当前时间的匿名函数...

2018-05-28 17:32:29

阅读数 999

评论数 1

python 对字典进行排序

Python字典是无序的,有时候有需要对字典按照键或者按照值进行排序。为了完成排序。将字典值取出来写到列表中再排序的方法是很愚蠢的。 可以使用sorted函数来实现这个功能即sorted(dict,value,reverse) 需要导入operator库 代码如下 import opera...

2018-05-23 21:59:55

阅读数 770

评论数 0

爬取壁纸网站上图片

最近试试用python写点爬虫,正巧在思否上看到有人分享的一个爬取壁纸网站上合适尺寸壁纸的爬虫,感觉挺有意思就模仿着人家自己也写了一下试试。感觉顺着自己的思路写下来,也还行。满足了按照分类来和页数来实现爬取的功能。也算是提升了一下自己的爬虫技巧,从爬文字升级到爬图片了^_^~~ 先上原贴地址:s...

2018-04-27 18:05:10

阅读数 285

评论数 0

Django发生Article.author: (fields.E304) Reverse accessor for 'Article.author'错误

Django发生错误如下: SystemCheckError: System check identified some issues: ERRORS: content.Article.author: (fields.E304) Reverse accessor for ‘Article.a...

2018-04-08 16:44:12

阅读数 1430

评论数 0

移动sftp.log文件导致监控不可用sftp.log无新日志的写入--切日志引发的血案

这周三突然发现一个部署了很久的监控脚本失效报警了,这个脚本内容其实很简单就是抓一下sftp.log里边的某个用户下载文件的记录,如果上次来下载文件的日期超过两天就报警。 结果周三早上发现从上周一开始之后sftp.log就一条都没有往里写过。这情况确实是有点诡异。开始以为是对方没有来下载就给对方发...

2018-03-23 10:52:59

阅读数 203

评论数 0

ORA-21561: OID generation failed hostname问题解决方式

昨天装了一台centOS6.8服务器,再上边又装了个oracle 11g的client。等tns、sqlplus都装上之后发现无论如何都连不上库,总是报“ORA-21561: OID generation failed hostname”错误感觉还挺奇怪的,没见过这种错。上网查了查发现是服务器ho...

2018-03-22 14:18:42

阅读数 674

评论数 0

django使用js或者图片等静态文件的引用方法

django使用静态文件需要将该文件放在static目录下边,static下可以有多级目录方便静态文件的管理。 使用static时还需要在project的setting.py中配置一下”STATIC_URL”就像这样STATIC_URL = '/static/' 同时需要配置“INSTALLED...

2018-03-21 16:39:24

阅读数 1274

评论数 0

解决python2.X从json文件中读取数据进行unicode转码情况

需要从一个json文件中逐行读取数据并将数据写入到一个字典数据中。服务器上python版本为2.6直接使用json.load()函数时发现load到的数据都是经过unicode转码的数据每一项前边都会多一个“u`”导致后边程序无法获得字典的准确数据。 上网搜了半天解决方案,发现这是python2...

2018-03-14 15:57:09

阅读数 2966

评论数 0

使用shell中数组存数据并最终将数据存入文件

近期做一个从某url接口获取数据的小程序,发现因为该接口在海外,连接情况不稳定,数据下载速度也很慢。碰巧这些数据是下一步操作的源数据。而且后续的处理对数据完整性要求较高。开始时候直接使用curl将结果重定向到文件中,结果每天都免不了出现一两次报警。全是因为数据不完整导致。 需要解决这种情况...

2018-03-14 15:23:23

阅读数 2031

评论数 0

python 打印斐波那契数列-使用递归函数版本

使用python打印出斐波那契数列的过程中需要特别注意的是数列中的值有前两项相加而来,所以需要两项同时赋值,不能分开赋值,分开赋值会导致数列变为等比数列 #!/usr/bin/python #-*- coding:UTF-8 -*- def fib(n): a=0 b=1 for i...

2018-01-25 14:26:14

阅读数 1858

评论数 0

使用dnspython进行DNS解析并对网站进行轮询检查

最近看了天斯大神的《python自动化运维》,里边有DNSPython的案例感觉写的很实用,想拿过来用。但是我在服务器上装了个python3.6。就打算用Python3来替代原来的检查程序。 首先需要导入的是三个模块,dns.resolver,os,httplib2(天斯大神用的是httplib...

2018-01-06 20:34:12

阅读数 926

评论数 0

tomcat自定义webapps目录和默认端口

尝试使用tomcat自定义项目目录webapps,只需要修改server.xml即可。修改内容如下:<Engine name="Catalina" defaultHost="tomcat1">#自定义hostname ... <Hos...

2017-10-26 16:52:48

阅读数 937

评论数 0

jsp生成json并传递给前台html解析后显示传递的信息

生成json

2017-07-03 23:18:45

阅读数 1084

评论数 0

提示
确定要删除当前文章?
取消 删除