- 博客(66)
- 收藏
- 关注
原创 python3[爬虫实战] 使用selenium,xpath爬取京东手机(下)
这次主要是进行京东具体某个店铺手机评论内容的爬取。本来是跟上一起写的,只是没有时间一块做总结,现在写上来是有点生疏了。这里是暂时获取一个商品的评论内容爬取的字段:评论内容,购买机型,评论人上代码:# -*- coding: utf-8 -*-# @Time : 2017/9/18 23:16# @Author : 蛇崽# @Email : 17193337679@163.com#
2017-10-11 23:01:36
927
原创 python scrapy之爬取 zhengfu网站
#encoding=utf8import scrapyfrom govinfos.items import GovinfosItemclass GovInfos(scrapy.Spider): # 启动爬虫的名称 name = 'govinfo' # 爬虫的范围 allowed_domains=['xzqh.mca.gov.cn'] # 爬虫的第一个url
2017-08-04 08:27:31
750
原创 python3 [爬虫入门实战]scrapy爬取盘多多五百万数据并存mongoDB
总结:虽然是第二次爬取,但是多多少少还是遇到一些坑,总的结果还是好的,scrapy比多线程多进程强多了啊,中途没有一次被中断过。 此版本是盘多多爬取数据的scrapy版本,涉及数据量较大,到现在已经是近500万的数据了。1,抓取的内容主要爬取了:文件名,文件链接,文件类型,文件大小,文件浏览量,文件收录时间一,scrapy中item.py代码# -*- coding: utf-8 -*-# D
2017-07-20 20:59:10
5102
3
原创 python3 [爬虫入门实战]爬虫之scrapy爬取织梦者网站并存mongoDB
主要爬取了编程栏目里的其他编程里的36638条数据 过程是自己一步一步的往下写的,有不懂的也是一边找笔记,一边百度,一边调试。 遗憾:没有进行多栏目数据的爬取,只爬了一个栏目的数据,希望有想法的有钻研精神的可以自己去尝试爬取一下,难度应该不会很大。给一张效果图: 爬取字段:标题,标题链接,标题描述,发布时间,发布类型,发布tag爬取方式:主要是获取div【pull-left ltxt
2017-07-16 22:52:35
874
原创 python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
1 mongodb数据库的安装与配置2 mongodb可视化工作3 mongodb在python3中的简单应用
2017-07-05 18:47:53
1965
原创 python3 [入门基础实战] 爬虫入门之智联招聘的学习(一)
请转移新博客地址: http://blog.csdn.net/xudailong_blog 老实说:懵逼啊 这次爬取的是智联招聘上的求职数据,虽然没有仔细正确核对一下数据是否具有重复性,随机抽查了些,数据大部分还是能对上来的,这次爬取的智联招聘上的数据90页,每页60条,主要抓取的是android开发工程的数据, 抓取的数据为全国的数据,先上张结果图吧,如果是想看大图,可以选中图片,长
2017-07-02 00:25:52
2950
原创 python3 [入门基础实战] 爬虫入门之xpath爬取脚本之家python栏目
这次爬取的确实有些坎坷,经过了两个晚上吧,最后一个晚上还是爬取数据到最后一公里了,突然报错了。又得继续重新进行爬取先来个爬取结果图,这次爬取的是标题,url,还有日期,估计也就只有这么多内容,用的单线程, 爬取结果: 爬取的过程很蛋疼,最后是昨天晚上爬取出来的,下次争取不用单线程进行任务了。先来份代码:# -*- coding: UTF-8 -*-import threading #
2017-06-29 23:46:00
2603
1
原创 python3 [入门基础实战] 爬虫入门之xpath的学习
Xpath Xpath全程为xml路径语言,用来确定xml文档中某部分位置的语言。 使用Xpath需要安装lxml库,lxml为Python的第三方库,安装方法可以直接下载库文件手动添加到python库文件夹下或者使用pip安装。 导入模块 from lxml import etree Selector=etree.HTML(网页源代码) 该指令可以把网页源代码转换成可以 被Xpath识别
2017-06-28 23:49:42
1821
原创 python3 [入门基础实战] 爬虫入门之刷博客浏览量
爬取结果 代码很简单:# encoding=utf8import requestsimport reimport timefrom bs4 import BeautifulSoupfirstUrl = 'http://blog.csdn.net/snake_son/article/details/52282490'headers = { 'User-Agent': 'Mozill
2017-06-27 23:45:59
2116
4
原创 python3 [入门基础实战] 爬虫入门之爬取豆瓣阅读中文电子书[热门排序]
稍微总结一下: 今天爬的稍微有点打击士气了,但是还是学到了不少东西,告诉我们,要学会自己去百度,谷歌答案, 自己去思考,不要依赖一些技术交流QQ群,很多都是水群的, 真的帮助你的是很少的。 重点在这里:今天学了将爬取的数据存取到txt ,.xlsx文件,也就是txt文件跟excel 表格中,又一次加强了re模块的正则表达式,先贴结果图: 这次爬取的是 贴代码:我是比较习惯先贴上代
2017-06-25 22:52:24
1585
原创 python3[爬虫基础入门实战] 爬取豆瓣电影排行top250
先来张爬取结果的截图再来份代码吧# encoding=utf8import requestsimport refrom bs4 import BeautifulSoupfrom tkinter import scrolledtext # 导入滚动文本框的模块from tkinter import ttkimport tkinter as tkimport threading# 获取网页
2017-06-24 23:59:32
6806
1
原创 python3 [入门基础实战] 爬虫入门之爬取豆瓣读书随笔页面
话不多说,先上今晚的代码# encoding=utf8import requestsimport refrom bs4 import BeautifulSoup# 此处是爬去豆瓣读书的随笔页面# page=0# doubarurl = 'https://book.douban.com/tag/%E9%9A%8F%E7%AC%94?start='+str(page)+'&type=T'hea
2017-06-24 00:21:57
1709
原创 python3 [入门基础实战] 爬虫之四季花果园的采果模块
这是本人第一次进行根据自己的项目进行爬取,因为处于爬虫初步阶段,现在只是爬取的是一个主标题,和一个副标题,并存入txt文件中,存的数据有些重复的。暂且先这样,来勉励自己吧。#encoding=utf8import requestsimport refrom bs4 import BeautifulSoupimport osdef getSijiHuaGuo(huaguo_url):
2017-06-23 00:03:43
546
原创 UnicodeEncodeError: 'gbk' codec can't encode character '\u200b' in position 0: illegal multibyte seq
python 在写入文件的时候,会出现这个问题:主要是我们在进行写入的时候没有进行编码设置,因为在windows下,新文件的默认编码是gbk编码,所以我们在写入文件的时候需要设置一个编码格式,如下: with open('C:\\QiuShiBaiKe.cvs', 'w+',encoding='utf-8') as f: f.write(tempStr)而不是: w
2017-06-22 23:12:51
9226
原创 android :StartupAbortedException
升级kotlin anko插件导致项目打不开 com.intellij.ide.plugins.PluginManager$StartupAbortedException: com.intellij.diagnostic.PluginException: org/jetbrains/Android/uipreview/AndroidLayoutPreviewToolWindo
2017-06-21 23:19:07
414
原创 python 百度贴吧
#encoding=utf8from bs4 import BeautifulSoupimport requestsimport timeimport randomimport xlwtflag = ''getin = ''c= 0def detailOper(url, params, header, timeout = 10): global flag out =
2017-06-20 23:32:21
1550
原创 python3 [入门基础实战] 爬虫入门之爬取糗事百科
#encoding=utf8import requestsfrom lxml import etreeclass QiuShi(object): headers = { "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.274
2017-05-24 23:43:49
673
原创 python入门基础笔记
新想法: 送矿泉水---送货applinux操作系统 bin sbin 可执行程序 home 目录 temp 临时生成的目录根目录: /用户目录: 用户工作目录或家目录 /home/user相对路径: 上一层路径(父目录) 。。 当前路径 。 根目录 。。和。 都是代表根目录文件的权限:r --readw --
2017-05-23 23:22:32
677
原创 Zxing生成含有LOGO二维码
Zxing生成二维码含有LOGOpackage com.example.mvptest;import android.graphics.Bitmap;import android.graphics.BitmapFactory;import android.graphics.Matrix;import android.support.v7.app.AppCompatActivity;impo
2017-04-18 22:11:39
587
原创 Invalid project description
今天在网上下了个源码,导入的时候发现出现Invalid project description的提示,翻译成中文就是“无效的项目描述”的意思,搞不明白遂百度找到了解决办法,现记录并共享之!Android导入一个工程时提示 Invalid project description字样,当我们单击按钮查看详细内容可以看到overlaps the location of another project的描述
2017-04-18 22:10:22
8672
原创 Android Scroller的基本使用
Scrollerandroid 原生类,滚动器。Scroller基础知识滚动的动作由基类view的scrollTo(x,y) 和scrollBy(dx,dy)的两个方法完成,scroller只是要根据滚动的起始位置和结束生成中间的过度动画。来形成一个滚动的动画。注意:scroller类需要与容器类进行配合才能产生滚动的过程,因为一个View在容器(比如ViewGroup)中的滚动不是自身发起的
2017-03-02 08:24:20
909
原创 2016年2月份面试题
1. OkHttp原生取消网络请求的方法: Call.Cancel();2. android事件分发机制: 3.0 以Button为例:onTouch是优先于onClick执行的,并且onTouch执行了两次,一次是ACTION_DOWN,一次是ACTION_UP(你还可能会有多次ACTION_MOVE的执行,如果你手抖了一下)。因此事件传递的顺序是先经过onTouch,再传递到onCli
2017-02-16 22:54:10
274
原创 Android DataBinding库(MVVM设计模式)
什么是MVVM说到DataBinding,就有必要先提起MVVM设计模式。 Model–View–ViewModel(MVVM) 是一个软件架构设计模式,相比MVVM,大家对MVC或MVP可能会更加熟悉。MVC:(VIew-Model-Controller)早期将VIew、Model、Controller代码块进行划分,使得程序大部分分离,降低耦合。1 MVP:(VIew-Model-Pres
2017-02-03 14:45:02
795
原创 react-native android打包发布
Android平台有两种发布方式,一种是借助于命令行操作,另外一种是借助于Android Studio进行发布,具体步骤我们来看一下:借助Android Studio发布版本首先,借助于Android Studio生成签名keystore: 点击下一步,创建一个新的keystore,这里无需关心后缀名字,默认即可 上面主要是密码,建议全部设置一个密码,方便记忆,Alias这个不要忘记,最好把上面
2017-02-01 15:42:06
4976
原创 android studio 一键清除无用资源
前提:图片在项目中没有被任何资源引用在res文件右键,依次选择Refactor-Remove Unused Resources 结果: 观察一下是不是资源被清除掉了。
2017-01-30 12:10:57
1582
原创 开源框架(android)
1.哪三大图片加载框架? 1) Picasso 2) Glide 3) Fresco2.介绍: Picasso :和Square的网络库一起能发挥最大作用,因为Picasso可以选择将网络请求的缓存部分交给了okhttp实现。Glide:模仿了Picasso的API,而且在他的基础上加了
2017-01-26 21:45:32
249
原创 Can't convert to dimension: type=0x1 错误处理
环境:在Launcher横屏的时候遇到了这个问题 java.lang.UnsupportedOperationException: Can’t convert to dimension: type=0x1,找了半天最后才发现是dimes值引用缺失的问题,竖屏values-port里的dimes值在values-land里没有声明,所以导致出现了这个错误。直接把values文件命名方式修改就行了 例
2017-01-19 11:12:05
3412
原创 react-native(Fetch网络请求数据)
语法使用:fetch(参数).then(完成的回调函数).catch(失败的回调函数)fetch(url,opts) .then((response) => { //请求成功后返回的对象response //例如:json、text等 return response.text(); return response.json(); }) .then((r
2017-01-16 22:34:55
7012
1
原创 react-native 入门学习指南
本篇汇集了React从入门到精通的各种技术,是你学习RN的指南 。本指南汇集React-Native各类学习资源,给大家提供便利。指南正在不断的更新,大家有好的资源欢迎Pull Requests!同时还有Awesome React Native系列 https://github.com/jondot/awesome-react-native目录教程React NativeReact.jsES6系列教
2017-01-10 17:22:46
1547
原创 java 常用正则表达式
匹配国内电话号码:/d{3}-/d{8}|/d{4}-/d{7} String str="13112341234,010-12456789,01012456789,(010)12456789,00861012456789,+861012456789"; Pattern p=Pattern.compile("1([\\d]{10})|((\\+[0-9]{2,4})?\\
2017-01-09 19:45:59
316
原创 android 选择图片上传报错
从图库里选择图片是我们开发中非常常用的功能,如上传头像,上传相册。Android4.4之前的版本打开图库选择图片可以这样:Intent intent = new Intent(Intent.ACTION_GET_CONTENT, null); intent.setType("image/*"); activity.startActivityForResult(intent, START_ALBU
2017-01-05 09:45:07
1000
原创 WARN React-native@0.35.0 requires a peer of react@~15.3.1 but none was installed.
报错信息npm WARN React-native@0.35.0 requires a peer of react@~15.3.1 but none was installed.解决方案:方法一:npm install -save react@~15.3.1方法二:在package.json中可以添加依赖"dependencies": { "react": "^15.3.2",
2016-12-30 17:11:04
10539
原创 android logcat 打印完整信息
在android studio 中打印log:往往不能把请求的全部数据给打印出来,Android系统的单条日志打印长度是有限的,长度是固定的4*1024个字符长度。所以这里我们可以对输出的信息进行分段处理,以保证输出足够的长度。import android.util.Log;/** * 打印日志的工具类 * * @author snakeson */public class LogUtil
2016-12-30 12:54:14
1925
原创 react-native 基础入门
基本概念这里以我的个人理解,快速过一下 React Native 中一些基本概念。如果和官方的理解有些偏差,还请指出。1. 组件React Native 主要是通过 Virtual Dom 来实现显示页面或者页面中的模块。可以通过 React.createClass() 来创建自己的 Dom,在 React 中称之为组件(Component)。创建之后,就可以直接像 HTML 标准标签一样使用了。如
2016-12-30 12:03:21
876
原创 2017 github 上android 源码(适合工作中开发)
转载: http://blog.csdn.NET/a774057695/article/details/49889437 https://github.com/XinRan5312/Android-open-project 目前包括:Android 开源项目第一篇——个性化控件(View)篇 包括ListView、ActionBar、Menu、ViewPager、Gallery、GridV
2016-12-30 11:51:19
15529
原创 TortoiseSVN没有svn.exe(找不到SVN.exe)
解决办法:重新安装:这样就可以在android studio 中进行配置svn.exe路径了.
2016-12-27 15:48:54
29338
原创 android textview 用html设置字体
TextView tv=(TextView)findViewById(R.id.textView1); String html="<html><head><title>TextView使用HTML</title></head><body><p><strong>强调</strong></p><p><em>斜体</em></p>"+"<p><a href=\"http://www.dre
2016-12-14 14:20:07
1201
原创 android:TimePicker仿照IOS时间选择器,可自定义选择器
背景: 项目要求写一个选择器:不仅仅是单纯的时间,还包括自定义部分. 搜了很久,搜出来只用一个自定义view.java类,再简单封装下的选择器: 贴下源码:public class PickerView extends View{public static final String TAG = "PickerView";/** * text之间间距和minText
2016-12-04 16:57:12
2733
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人