- 博客(8)
- 资源 (5)
- 收藏
- 关注
原创 MYSQL添加列,列的运算给新一列赋值,利用经纬度分开储存坐标进行空间分析
因为我只储存格点数据(栅格数据),其实就是坐标和值这两部分。一开始我尝试用mysql的point类,可以储存将经纬度坐标作为一个整体储存起来,还是很好用的,方便进行运算。但是因为数据条数数目巨大,为了减少空间,用两个float储存占得空间大小我发现更小,于是我一股脑的把所有坐标都分成经度和纬度两个浮点型全都存进去了。这两天开始要加入空间分析功能了,找了个最简单的within试了一下,发现个问题...
2018-07-31 15:36:26 1616
原创 Python操作mysql时表名是数字的时候如何写excutemany,excute
这两天又重新开始弄mysql,需要把一大堆数据传进去,数据是以日为单位,每天都有,现在手头上有16年的数据,打算每一年单独建立一张表格,不然太大,会影响搜索效率,我是这么想的。可是一开,一天的数据就要上千万条,有些担心一张表撑不撑的住。为了方便调用和记住,我把表名用数字代替,不然是在想不出来用什么好。。。但是这就碰到了一个问题,写好sql语句的时候用excute执行时,发现报错,字符串转换的时候出...
2018-07-23 18:26:35 1169
原创 gitlab中markdown实现空格和换行
最近要做一些产品的分析,分析的成果要提交到gitlab上,第一次接触markdown语言,确实不难,但是一开始的时候不断跳出来的细节上的错误难免让人心烦。这次就说个最基本的空格和换行的实现。1.当新一段开始时,发现不管空几个空格,preview中,文字就是丝毫不动,这时候你输入法,shift+space换到全角模式,然后再打几个空格就完成了~能明显感觉到变粗...
2018-07-19 17:00:49 12291
原创 利用selenium和chrome做爬虫时,如何解决新弹出的标签页和对话框(警告框)
用selenium操作网页时,发现点击了一个按钮准备进入下一页,结果,突然弹出了一个新标签或者对话框,现有的driver都操作不了,怎么办呢?1.新的标签页出现新的标签页的时候,我尝试着拿webdriver,get了一下新的url地址,发现旧的标签页报错,新的标签页操作不了这时候就该用.switch_to.window([i]) 。(switch_to_window已经被抛弃了,在pycharm中...
2018-07-11 16:17:02 7810
原创 selenium.common.exceptions.WebDriverException: Message: unable to set cookie
最近总算是把爬虫的东西都做完了,简单的功能实现,到最后感觉用selenium就是在模拟用户行为,点这点那,输入这个输入那个,最后碰到个问题,文件点击下载了,怎么能够获取到chrome下载文件的状态,知道他全都下载完了,然后用quit关闭退出呢?话归正题,代码如下addurl="********"chrome_options = Options()#获取chorme设置# chrome_opti...
2018-07-11 15:46:00 6854
原创 Selenium support for PhantomJS has been deprecated, please use headless ,安装selenium和headless chrome
做一些爬虫的代码学学,发现网上教程是用selenium和phantomjs,确实能用,就是各种弹出题目中的错误,大红字看的闹心,一搜发现chrome和Firefox也有这种headless版本的了,于是乎赶快去下了一个chrome,还有对应版本的chromdriver,这里有chrome和driver的对应版本信息http://chromedriver.storage.google...
2018-07-04 16:34:40 1224 2
原创 爬虫扒取网页信息时‘gbk‘ codec can‘t encode character ‘\u266a和\xa0的问题
今天跟着http://python.jobbole.com/89091/学习了一下爬虫扒取网易云音乐的歌单,但是发现个问题就是,用csv储存自己扒取的信息时,总会弹出'gbk' codec can't encode character ‘\xa0‘的错误,搜索得到这个网页https://blog.csdn.net/wangbowj123/article/details/780616...
2018-07-04 16:06:30 974
原创 pycharm 添加运行参数
最近又重新看手上的代码,之前弄不明白的地方这次要一次弄明白。代码中出现了很多sys.arfv[]的运行参数,pycharm怎么添加运行参数呢打开Run->Edit Configurations,在左侧选择你的工程,由此的箭头处选择你要添加的参数添加完毕之后满心欢喜开始运行,发现其中的xml读取出了问题xml.etree.ElementTree.ParseError: not well-for...
2018-07-02 11:35:14 6709
奥维互动地图windows安装包
2020-09-02
ENVI和IDL安装程序及教程
2020-08-09
sld_详细教程英文版_OpenGIS_Symbology_Encoding_Implementation_Specification.pdf
2020-08-05
Studio3T安装包,保证可以使用
2020-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人