2017年07月_PeersLee

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 Python - Appuim 2. 常用API 以及 selenium 版本更新引发的问题

元素定位打开%ANDROID_HOME%\tools\uiautomatorviewer.bat通过uiautomator 可以定位元素API 使用情况如下text -> findElementByNameresource-id -> findElementByIdclass -> findElementByClassNamecontent-desc

2017-07-21 13:57:04 576

原创 python - scrapy '笔下文学'

创建项目scrapy startproject [项目名称]scrapy genspider [spider.py] urlscrapy crawl spider代码资源

2017-07-18 14:15:45 717

原创 Python - Appuim 1. 环境搭建

Android SDK下载地址platform-tools ：下载地址解压配置：进入安卓系统的开发者模式进行USB调试安卓系统版本是4.2.2以上的，包括4.4、5.01.系统设置2.关于手机3.版本号，在最底下一行，连续猛点七八下，激活开发者模式4.返回“系统设置”这层，你可以看到“开发

2017-07-18 12:37:10 1104

原创 Spark - 阶段性总结(2017.07.07)

使用Intellij Idea搭建Spark Streaming开发环境(SBT版本)Intellij Idea 手动添加本地依赖Windows Intellij idea配置scala开发环境spark API 应用实例链接: https://pan.baidu.com/s/1dFb5KbR密码: y3na

2017-07-07 12:58:23 461

原创 Java - taobao spider

spiderpackage main;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import org.junit.Test;import org.openqa.seleniu

2017-07-07 12:03:51 562

原创 python - JD spider

# !/usr/bin/env python# coding=utf-8import refrom selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdr

2017-07-07 11:47:05 846

原创 Spark - Hadoop-Spark-Hive-Kafka-Flume 分布式集群搭建与 spark rdd常用api操作

Hadoop + Spark + Hive + Kafka + Flume 分布式集群搭建链接: https://pan.baidu.com/s/1nvDPaGD 密码: yu6xSpark RDD 常用API解析

2017-07-06 08:37:07 6441

原创 python - 制作简单 ‘词云图‘

import jiebafrom jieba.analyse import extract_tagsfrom scipy.misc import imreadfrom wordcloud import WordCloudimport matplotlib.pyplot as pltdef generater(**kwargs): content_name = kwargs['

2017-07-05 21:21:17 5120

原创 python - 对 '数码大冒险tri 泡泡评论' 进行简单的情感分析

爬虫 selenium 抓取‘楚乔传’ 评论NLPimport jiebaimport numpy as npimport pymongofrom NLP.Config import *'''db'''client = pymongo.MongoClient(MONGO_URL)db = client[MONGO_DB]def get

2017-07-05 10:13:40 913