自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

行者小朱的博客

  • 博客(15)
  • 资源 (10)
  • 收藏
  • 关注
全部文章> 2017年08月
排序：
按最后发布时间
按访问量
RSS订阅
12月 11月 10月 09月 08月 07月 03月 02月 01月

原创 Python3爬虫之三网页解析【爬取豆瓣Top电影】

这里再练习一下对豆瓣Top250电影的爬取，其首页长这样        我们需要的信息是电影的序号、电影的名字，因此直接按上一节的方法查看网页代码，解析网页结构，提取我们所需要的信息，完成代码如下：# coding = utf-8import refrom urllib import requestfrom urllib import errorclass DouBan

2017-08-31 13:46:53 5679 1

原创 Python3爬虫之二网页解析【爬取自己CSDN博客信息】

与Java类比，Java的网页解析有Jsoup工具，Python的网页解析工具对应的是BeautifulSoup。详情可以阅读其官方文档。        这里以爬取我的CSDN博客信息，包括获取每篇博客的标题、链接、书写日期、访问量、评论数量等信息为例，结合BeautifulSoup，进行网页的解析，详细的说明在代码的注解中讲解。# coding=utf-8# 对CSDN博客信息进行爬

2017-08-31 13:18:22 6643 1

原创 Python3爬虫之一初试

前面系列学习了Java的爬虫，相比而言，楼主更倾向于Python简洁易懂。与Java类似，都要封装请求，Python2系列使用的是urllib2，Python3后全部融合为urllib。        下面以请求知乎首页的例子，说明Python的简单使用。# coding = utf-8from urllib import request# 目标网址url = "http://w

2017-08-31 13:02:10 856

原创 Java爬虫系列之四模拟登录【模拟登录人人网】

通过前面的学习，我们已经可以对不需要登录的网页正常访问，但现在的网页大部分都需要用户注册，因此这里以学人人网为例，学习一下网站的模拟登录。        首先对http://www.renren.com/进行爬取，对得到的内容进行分析：package RenRen;import org.apache.http.client.methods.CloseableHttpRespon

2017-08-29 11:35:28 8591 4

原创 Java爬虫系列之三模拟浏览器【模块浏览OSChina网站】

第一节的学习使得我们学会使用HttpClient请求网页的基本方法；第二节进一步学习了Jsoup从网页中解析出所需要的内容。但在请求时，我们仍可能遇到目标网址没有错，但就是请求得不到响应的情况，比如OSChina、CSDN等网址，因此这里必须伪装成浏览器才可以进行正常的访问。        模拟浏览器在代码的实现层，就是给请求加上Header，那么如何看应该封装的Header内容呢？运用浏览器

2017-08-29 11:01:43 4896

原创 Java爬虫系列之二网页解析【爬取知乎首页信息】

上一节以一个小Demo开始了Java的爬虫之旅，熟悉了HttpClient请求资源得到返回结果，得到初步处理的结果。但对于得到的网页是怎么解析的呢？这里讨论一下Jsoup的使用。        Jsoup是一款Java的HTML解析器，提供了一套非常省力的API，可以方便的从一个URL、文件、或字符串中解析出HTML，然后使用DOM或者Select选择出页面元素、取出数据。如下：Strin

2017-08-23 18:08:18 3338 2

原创 日志记录方法---SLF4J和Log4j

SLF4J（Simple Logging Facade For Java），没有实现具体的日志解决方法，只是一个抽象块层，使代码可以独立于任意特定的日志API。        Log4j（Log For Java），是Apache一个开源项目，可以灵活记录日志信息，通过Log4j的配置文件更改日志记录格式、级别等信息。        不论是在写程序还是线上的系统，及时打印出代码运行阶段的日

2017-08-22 15:21:57 863

原创 Java爬虫系列之一HttpClient【爬取京东Python书籍信息】

一、概念        HttpClient 是Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。        HttpClient实现了所有HTTP的方法（GET/POST/PUT/HEAD等），支持自动转向、HTTPS以及代理服务器能。二、HttpCli

2017-08-21 20:13:34 3209 1

原创 Java注解及通过自定义Java注解实现数据库的操作

在Java程序中通过注解，可以让编程更加简洁、代码更加清晰。因此在Java框架代码中，嵌入了大量的注解。        讲注解，首先得讲注解的概念：Java提供了一种原程序中的元素关联任何信息和任何元数据的途径和方法。一、注解的分类1、按照运行机制分为源码注解、编译注解和运行时注解（1）源码注解：注解只在源码中存在，编译成.class文件就不存在了（2）编译注解：注解在源码和.

2017-08-21 15:51:31 7351

原创 Spring boot之单元测试

在写工程代码的时候，经常需要调试自己的方法、接口是否有问题，能否正常调用，尤其多人合作开发项目时，工同程的融合，每个接口的问题都将导致工程不能正常运行。       对于Spring boot程序，框架对测试提供了很好的支持，这里简单总结一下测试方法。这里的单元测试主要包括Service的测试和API的测试（即Controller的测试）。一、Service的测试        Ser

2017-08-18 19:56:51 2791

原创 Spring boot之代码规范书写

在实际工程中的代码应该尽量保证良好的代码风格，这里以前面的例子为例：向数据库中插入学生信息时，如果学号满足要求，插入成功，则返回该记录具体信息字段；如果插入失败，则返回错误及错误提示信息。第一步：首先建立一个消息返回内容类Result.java第二步：读题目意思，得知对消息的返回应该有一个统一的格式，因此创建ResultUtil.java类，封装消息返回的格式第三步：在

2017-08-18 17:17:00 6644

原创 Spring boot之AOP面向切面编程

AOP（Aspect Oriented Programing）：面向切面编程，将通用的逻辑从业务逻辑中分离出来。这里以获取HTTP请求中的字段为例进行解读：1、在pom.xml中引用spring-boot-starter-aop依赖2、创建HttpAspect.java类，加上@Aspect注解@Pointut注解表示切入的点，这里是请求的路径@Before注解表示当前

2017-08-18 16:25:34 20808 2

原创 Redis入门

一、概念 Redis是一个开源的、支持网络的、可基于内存的、可持久化的日志型、Key-Value数据库，提供了多种语言的API。Redis支持的数据类型有五种：string（字符串）、list（列表）、set（集合）、sorted set（有序集合）、hash（散列）。二、Redis特点 1、Redis本质上是一个Key-Value类型的内存数据库（Key-

2017-08-17 20:18:06 647

原创 Spring boot结合Spring-Data-JPA操作MySQL数据库

上一节学习了Spring-boot的基本知识，这一节进一步学习一下Spring-boot结合Spring-Data-JPA操作MySQL数据库。首先介绍JPA：Java Persistence API，定义了一系列对象持久化的标准，是一个标准。第一步：在配置文件中引入Spring-Data-JPA和MySQL的依赖第二步：在yml配置文件中配置数据库的地址及相应的jpa。【在我的本

2017-08-16 19:52:17 8442 2

原创 Spring boot入门小程序

在Java后台开发过程中有很多框架可供选择，其中应用最为广泛的是SpringMVC以及SpringMVC的升级版SpringBoot。SpringBoot相对SpringMVC，大大减化了XML文件的配置，化繁为简，但二者没有必然联系，可以直接学习SpringBoot。本文笔者以SpringBoot的一个应用程序，来起步SpringBoot的学习。        该小程序从SpringBoot

2017-08-16 17:01:55 4550

计算机网络第五版
计算机网络第五版

2016-08-20

Redis设计与实现
Redis设计与实现

2016-08-20

Java_TCPIP_Socket编程
Java_TCPIP_Socket编程

2016-07-06

中国计算机学会推荐国际刊物会议列表(数据库数据挖掘与内容检索)

2016-06-20

GroupLens_MovieLens数据集
数据集简介如下：（上传空间有限，这里我只传了一个最新的2016/1的数据集，如果有需要的话到官网下载吧http://grouplens.org/datasets/movielens/） MovieLens 100K Dataset Stable benchmark dataset. 100,000 ratings from 1000 users on 1700 movies. Released 4/1998. MovieLens 1M Dataset Stable benchmark dataset. 1 million ratings from 6000 users on 4000 movies. Released 2/2003. MovieLens 10M Dataset Stable benchmark dataset. 10 million ratings and 100,000 tag applications applied to 10,000 movies by 72,000 users. Released 1/2009. MovieLens 20M Dataset Stable benchmark dataset. 20 million ratings and 465,000 tag applications applied to 27,000 movies by 138,000 users. Released 4/2015. MovieLens Latest Datasets Small: 100,000 ratings and 6,100 tag applications applied to 10,000 movies by 700 users. Last updated 1/2016. Full: 22,000,000 ratings and 580,000 tag applications applied to 33,000 movies by 240,000 users. Last updated 1/2016. MovieLens Tag Genome Dataset 11 million computed tag-movie relevance scores from a pool of 1,100 tags applied to 10,000 movies.

2016-01-14

Spark学习资料
EECS-2014-12，Spark作者的论文

2015-08-14

Hadoop平台搭建步骤
Hadoop平台搭建步骤，这份文档里面详细的讲述了平台的搭建步骤

2014-03-29

spring in action 中文版 后五章
spring in action 中文版 后五章，里面详细描述了spring，提供编程者查阅API

2014-03-29

Visual C++
Visual C++ 面向对象编程教程王育坚

2013-11-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除