- 博客(13)
- 资源 (2)
- 收藏
- 关注
原创 python +selenium+phantomjs 登录爬取新浪微博动态js页面
登录新浪微博最近新浪微博好烦,都取消不了验证码这个难搞得东西,而且跳来跳去,一改版以前的代码就都不能用了。目前整理的资料有三种方法: 1. 设Cookie:简单粗暴,免去了模拟登录的好多麻烦,只是要定期更新 2. 模拟登录:验证码是个大麻烦,有把验证码图片截下来,本地识别控制台输入验证 3. 扫码登录 :用app的扫码登录 其实除了设cookie ,在有验证码下,后两种方法差不多,都要人工干预
2016-04-14 20:17:15 18789 3
转载 深度学习 资料整理
转自: http://blog.csdn.net/augusdi/article/details/20238157 Deep Learning(深度学习) ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一 ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):二 Bengio团队的deep learni
2016-04-28 16:23:03 1298
原创 Scala进阶源码实战之八——隐式转换和隐式参数
隐式转换import scala.io.Source import java.io.Fileclass RichFile(val file:File){ def read = Source.fromFile(file.getPath()).mkString }object Context{ implicit def file2RichFile(file:File)= new RichF
2016-04-21 22:17:47 873
原创 Scala进阶源码实战之七——链式调用、结构类型
链式调用风格 //核心就在 this.type class Animal { def breathe: this.type = this } class Cat extends Animal { def eat : this.type = this } object Singleton_Types { def main(args: Array[String]): Unit = { val
2016-04-21 20:34:41 1069
原创 Scala进阶源码实战之六——类型变量
View Bounds 视图界定 package com.dt.scala.type_parameterization
2016-04-21 20:31:32 646
原创 Scala进阶源码实战之五——List、Queue、Stack、Set、Map
Listpackage databaseobject list { println("Welcome to the Scala worksheet") //> Welcome to the Scala worksheet val bigData = List("Hadoop" , "Spark") //> bigData : List[String] = Lis
2016-04-19 23:02:38 945
原创 Scala进阶源码实战之四——模式匹配
basicpackage PatternMatchobject patternmatch { println("Welcome to the Scala worksheet") //> Welcome to the Scala worksheet val data =2 //> data : Int = 2
2016-04-19 22:22:48 1063
原创 Scala进阶源码实战之三——文件IO、正则表达式、高阶函数
文件import scala.io.Source import java.io.PrintWriter import java.io.Fileobject FileOps { def main(args: Array[String]) { val file = Source.fromFile("test.txt") for (line <- file.get
2016-04-19 20:37:43 748
原创 Scala进阶源码实战之二——面向对象
类的属性与私有字段 package OOP class Person { private var age = 0 def increment(){age += 1} def current = age def act(person: Person){ person.age } } class Student{ private var private
2016-04-19 20:10:49 1256
原创 Scala进阶源码实战之一——数组、函数基础、流程控制、文件、异常
Scala进阶源码实战系列,省去一些冗余的文字基础介绍,直接上代码,结合注释,实战进阶。为Spark打下语言基础。最好集中时间短时间突击完,计划一周。最开始的一些简单的借助ScalaIDE source sheet,帮助理解类型之类的数组package basicobject basics { println("Welcome to the Scala worksheet") //>
2016-04-18 17:06:41 1061
原创 python 爬虫试手 requests+BeautifulSoup
工作需要,要爬取新浪微博数据,之前一直用java, 但是遇到页面加密很伤,转到python。先拿糗事百科试试python里爬虫的写法。工具 requests BeautifulSoup工具参考 Python爬虫利器一之Requests库的用法 Python爬虫利器二之Beautiful Soup的用法还有一个据说比较好用的PyQuery, 试用了下,难用的要死!class 里有空格就懵逼了。
2016-04-13 23:58:45 1107
原创 Spark 编程基础
基本框架package week2import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.SparkContext._object WordCount1 { def main(args: Array[String]) { if (args.length == 0) { System.e
2016-04-10 00:52:31 1082
原创 Hadoop 2.6.0 hbase 0.98 Java API 调用实例
环境搭完了,不知道怎样引jar包,怎样调用的看这里! ps. 不涉及HBase原理详解,那个之后单独弄一篇Let’s go!Java IDE选用的是 eclipse Hadoop hdfs Hbase java API demo
2016-04-03 11:07:08 3121
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人