Daniel_xl-CSDN博客

原创 ArcGIS基础从0到实战(空间数据分析系列学习)

系列课程来自腾讯课堂的免费视频：https://ke.qq.com/course/397837 小白直接ArcGIS快速入门了。3个多小时课程，基本1周，掌握了，基础的空间数据分析与制图直接可以上手了。实际上ArcGIS可以理解为数据库+常见数据处理、分析算法工具+可视化+扩展图形化编程，很强大的。发一个目录仅供参考，分享免费好课。1课时-课程前言2课时-地图文档创建与导出地图...

2019-05-26 16:44:31 2652 1

原创 pandas-DataFrame列移动

这个列移动借助pop完成df = pd.DataFrame(np.random.randn(3,4),columns=['a','b','c','d'])df.c

2018-07-06 20:31:06 15856

import pandas as pd#如果需要的话,需将df中的date列转为datetimedf.date = pd.to_datetime(df.date,format="%Y%m%d")#将改好格式的date列,设置为df的indexdf.set_index('date',drop=True)#按年来提数据 (因为此时的datetime已经为index了,可以直接[]取行内容)df['2...

2018-05-29 09:33:34 24203 3

原创 pandas(一)-数据过滤与排序

import pandas as pd#在df中取某列,比如namedf.namedf['name']#取多列df[['name','age']]#计数df.name.count()#查看df信息,infodf.info()#查看有多少列df.shape[1]#查看多少行df.shape[0]#排序,以values排序,以index排序#sort参数,as...

2018-05-28 20:55:36 1720

翻译关于[scrapy] DEBUG:Filtered duplicate request:

[scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown不会显示更多重复项,其实这个的问题是,CrawlSpider结合LinkExtractor\Rule,在提取链接与发链接的时候,出现了重复的连接,重复的请求,出现这个DEBUG或者是yield scrapy.Reque...

2018-05-13 20:25:22 8044 4

原创 Scrapy中设置User-Agent(本文主要目的是学习如何为爬虫程序的每次请求随机分配User-Agent)

初学scrapy中,以为在settings.py中的USER_AGENT = 'xxxx' 设置随机的User-Agent(UA)可以达到每次请求都有不同的UA的效果.>>>>>其实不是,这只能在每次运行时随机调用其中的一个UA.(看图)(在spider中打印User-Agent看看究竟)(可以看到每次运行scrapy时会有不同的User-Agent)(改改代码,设...

2018-05-13 11:26:34 12559 1

原创字典update方法Python3

dict.update(dict_2)将dict_2中的键值对添加(更新)到dict中.dict = {'name':'wuq','gender':'female','age':'16'}dict_2 = {'girl':'beautiful'}dict.update(dict_2)dict = {'name':'wuq','gender':'female','age':'16','girl':'...

2018-02-17 19:41:32 1720

原创 class中dict的理解,Python3

class Friends(): #定义一个类 def __init__(self): self.name = 'wuq' #两个实例变量 self.gender = 'female' def say_to_friend(): #有一个方法 print('hello %s'%self...

2018-02-14 18:03:29 8399

原创计数器(每次调用均自增1)Python3,生成器完成

# -*- coding:utf-8 -*-def create_counter(): def increase(): #定义一个还有自然数算法的生成器,企图使用next来完成不断调用的递增 n = 0 while True: n = n+1 yield n it = increase...

2018-02-09 19:40:29 7971

sinat_41701878的博客