aierxin8142-CSDN博客

转载 Python攻城——查看，生成幫助文檔

1. python在控制台中查看文檔 1 python -m pydoc 模塊名 2. pydoc生成HTML文檔 1 python -m pydoc -w 模塊名 1 python -m pydoc -w 目錄名 3. 啓動本地服務器來查看文檔信息 python -m pydoc -p 端口號 python -m pydoc -...

2019-08-12 10:11:00 105

转载 Scrapy———反爬蟲的一些基本應對方法

1. IP地址驗證　　背景：有些網站會使用IP地址驗證進行反爬蟲處理，檢查客戶端的IP地址，若同一個IP地址頻繁訪問，則會判斷該客戶端是爬蟲程序。　　解決方案: 　　　　1. 讓Scrapy不斷隨機更換代理服務器的IP地址，如在middlewares.py中添加如下類: 1 class RandomProxyMiddleware(object): 2 def p...

2019-08-12 09:35:00 97

转载 Scrapy——將爬取圖片下載到本地

1. Spider程序：　　 1 import scrapy, json 2 from UnsplashImageSpider.items import ImageItem 3 4 class UnsplashImageSpider(scrapy.Spider): 5 # 定义Spider的名称 6 name = 'unsplash_im...

2019-08-12 09:05:00 109

转载 Scrapy——將數據保存到MySQL數據庫

Scrapy——將數據保存到MySQL數據庫 1. 在MySQL中創建數據庫表job_inf: 1 Create table job_inf( 2 id int(11) not null auto_increment primary key, 3 title varchar(255), 4 salary varchar(255), 5...

2019-08-12 08:53:00 72

转载無法直接連接互聯網，需要使用代理時(Scrapy)

在windows系統中，如果無法直接連接互聯網，需要使用代理時該怎麽做呢？　 1. 在powershell中設置proxy 　　背景：使用公司電腦，無法直接訪問互聯網，想要訪問互聯網就得使用代理，但是在控制面板中設置代理的選項被禁用，個人又具有管理員權限的。　　解決方法：　　　　在powershell中或cmd中先運行以下命令：　　　　　　1）http proxy:　...

2019-08-08 11:26:00 123

转载 Python編碼格式錯誤解決方案及案例

Python格式錯誤解決方案及案例　　這幾天在玩爬蟲，在解析和提取内容時經常出現由於内容格式問題導致出錯，為防止以後出錯，整下一下，以下是這幾天的總結：　　1. 特殊符號或表情符號等　　　　背景：爬取一個烹飪教學網站，在用BeautifulSoup解析網頁時報錯：　　　　UnicodeEncodeError: 'UCS-2' codec can't encode char...

2019-07-24 12:07:00 274

转载數據監控与診斷－－環形緩沖區(RING BUFFER)

１. 環形緩沖區動態管理視圖: sys.dm_os_ring_buffers 查看ring_buffers: Select distinct ring_buffer_type from sys.dm_os_ring_buffers 可從環形緩沖區中獲取以下信息：　　１.　內存壓力　　２.　安全錯誤信息　　３.　連接信息　　４.　線...

2018-06-14 09:50:00 47

转载 SQL Server監控与診斷

僅為記錄工作中遇到的問題．１.　字符串截斷：　　ＳＱＬ server里很多job用於運行DTS,經常會收到系統出錯警報，如： ...String or binary data would be truncated. [SQLSTATE 22001] (Error 8152) The statement has been terminated. [SQLSTATE 01...

2018-06-12 16:52:00 103

转载軟件員修煉之道：從小工到專家

程序員修煉之道：從小工到專家　　在工作將近一年時，在交接完離任同事的工作，在他留下的工作和代碼之中發現了很多的問題，對於軟件工程需要新的理解，於是乎買了本<程序員修煉之道：從小工到專家>，學習一哈．　　以下是樹中的tips以及本人的理解：　Care about your carft. 　　　　我想這應該是程序員最基本也是每一位程序員該具備的素質．對自己的...

2017-10-26 11:50:00 152

转载 HackerRank－Python攻城歷程-3.List( Find the Second Largest Number )

1 if __name__ == '__main__': 2 n = int(input()) 3 arr = map(int, input().split()) 4 print(sorted(list(set(arr)))[-2]) 转载于:https://www.cnblogs.com/riocasture/p/7596041.htm...

2017-09-26 11:54:00 100

转载 HackerRank－Python攻城歷程-2.List comprehensions

1 if __name__ == '__main__': 2 x = int(input()) 3 y = int(input()) 4 z = int(input()) 5 n = int(input()) 6 print([ [ i, j, k] for i in range( x + 1) for j in range(...

2017-09-26 10:51:00 94

转载 HackerRank－Python攻城歷程-1.Tuples

Solution: 1 if __name__ == '__main__': 2 n = int(input()) 3 integer_list = map(int, input().split()) 4 t=tuple(integer_list) 5 print(hash(t)) 转载于:https://www.cnblog...

2017-09-26 09:57:00 160

aierxin8142的博客