dm13708279009-CSDN博客

转载 Mybatis的增删改查

Mybatis的增删改查本人独立博客:https://chenjiabing666.github.io/增加数据<insert>在增加数据的时候，mybatis默认返回的是受影响的行数，因此不需要指定ResultType指定返回类型在UserMapper.java接口中添加方法/** @param user User对象*/Integer reg...

2018-05-08 19:08:00 146

转载 MyBatis入门程序

MyBatis入门程序本人独立博客:https://chenjiabing666.github.io/设计案例实现向tedu_ums数据库的t_users数据表中插入数据。开发步骤1 创建项目DAY07-MyBatis-Sample，生成web.xml，在web.xml中配置（2项），添加spring-webmvc依赖，复制Spring配置文件，添加Tomcat运行环境；...

2018-05-08 19:06:00 97

转载 Servlet总结二（文件路径）

Servlet总结二（文件路径）前言前面我们说过ServletContext表示的是web容器中的上下文，下面我们也是用到ServletContext中的方法读取文件读取WebRoot文件下的文件我们知道当我们将项目部署到Tomcat服务器中时，项目中的文件路径其实就是在Tomcat中的文件路径，所有的项目都是存储在webapps下的，我们可以看到webaapps下有两个文...

2017-09-15 16:28:00 262

转载 Servlet总结一

Servlet总结一HttpServlet想要实现一个servlet必须继承这个类，其实一个servlet就是一个java文件，但是这个类必须是继承HttpServlet。生命周期servlet的生命周期是从创建到毁灭的一个过程，具体的过程如下：Servlet 通过调用 init () 方法进行初始化。Servlet 调用 service() 方法来处理客户端的...

2017-09-14 22:35:00 108

转载多线程的使用

多线程前言我看了不止一个人说多线程是鸡肋，但是就依照我个人觉得多线程在一些小型的爬虫中还是可以显著的提高速度的，相比多进程来说应该还是挺简单的使用多线程继承threading.Thread继承threading.Thread模块是一个很好的一个选择，就像java中也是可以继承类和实现接口一样，这都是很好的选择，下面我们来看看具体如何使用class Mythread(t...

2017-09-03 22:38:00 130

转载 Lock

Lock在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来探讨这个问题，从Java 5之后，在java.util.concurrent.locks包下提供了另外一种方式来实现同步访问，那就是Lock。也许有朋友会问，既然都可以通过synchronized来实现同步访问了，那么为什么还需要提供Lock？这个问题将在下面进行阐述。本文先从s...

2017-06-22 23:52:00 70

转载 synchronized

synchronized前言相信大家都听说过线程安全问题，在学习操作系统的时候有一个知识点是临界资源，简单的说就是一次只能让一个进程操作的资源，但是我们在使用多线程的时候是并发操作的，并不能控制同时只对一个资源的访问和修改，想要控制那么有几种操作，今天我们就来讲讲第一种方法：线程同步块或者线程同步方法(synchronized)实例下面举一个例子说明synchronize...

2017-06-21 08:02:00 94

转载 Thread初探

Thread初探前言以前大家写的都是单线程的程序，全是在main函数中调用方法，可以清楚的看到它的效率是特别低的，就像python中使用单线程取爬一个网站，可以说能让你等的吐血，因为数据量实在太大了，今天我们就来看看java的并发编程多线程的学习创建线程创建一个线程可以有多种方法，比如继承Thread类，实现Runnable接口......下面我们来详细的看看创建的方法...

2017-06-20 16:51:00 95

转载 Java字符串进阶

Java字符串进阶前言最常用的对字符串操作的类有三个，分别是String,StringBuilder,StringBuffer，下面将会详细的说说这三个类......StringString类代表字符串，这个是最基本的对字符串的类，这个也是使用比较多的类，这里就不再详细介绍了构造new String(String str)new String(StringBui...

2017-06-16 12:53:00 100

转载 Java正则表达式

Java正则表达式java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。它包括两个类：Pattern和Matcher。Pattern是一个正则表达式经编译后的表现模式。Matcher对象是一个状态机器，它依据Pattern对象做为匹配模式对字符串展开匹配检查。首先一个Pattern实例订制了一个所用语法与PERL的类似的正则表达式经编译后的模式...

2017-06-16 00:30:00 60

转载日期格式化

2017-06-15 12:21:00 629

转载 Java反射机制

Java反射机制前言更多文章请一步本人博客https://chenjiabing666.github.io/网页版的jdk的API离线版API什么是反射机制反射是java语言的一个特性，它允程序在运行时（注意不是编译的时候）来进行自我检查并且对内部的成员进行操作。例如它允许一个java的类获取他所有的成员变量和方法并且显示出来。这个能特定我们不常看到，但是在其他的比...

2017-06-14 23:58:00 65

转载 Swing系列之控件一

Swing系列之控件JTextAreaJTextArea是一个实现多行文本的控件构造函数JTextArea() 构造新的TextArea。JTextArea(Document doc) 构造新的 JTextArea，使其具有给定的文档模型，所有其他参数均默认为 (null, 0, 0)。JTextArea(Document doc, String text, int ...

2017-06-08 19:45:00 212

转载 Java IO学习笔记总结

Java IO学习笔记总结前言前面的八篇文章详细的讲述了Java IO的操作方法，文章列表如下基本的文件操作字符流和字节流的操作InputStreamReader和OutputStreamWriter操作内存操作流管道流打印流System对IO的支持BufferedReader和BufferedWriter后续字节流字节流的操作都是基于InputStr...

2017-05-26 16:22:00 94

转载 Java IO学习笔记八

BufferedReader和BufferedWriter这两个类是高效率的提高文件的读取速度，它们为字符输入和输出提供了一个缓冲区，可以显著的调高写入和读取的速度，特别针对大量的磁盘文件读取的时候,下面着重的讲讲这两个类BufferedReader从字符输入流中读取文本，缓冲各个字符，从而实现字符、数组和行的高效读取,要特别注意的是这个市针对字符流而不是字节流。通常...

2017-05-26 15:19:00 75

转载 python大规模爬取京东

python大规模爬取京东主要工具scrapyBeautifulSouprequests分析步骤打开京东首页，输入裤子将会看到页面跳转到了这里，这就是我们要分析的起点我们可以看到这个页面并不是完全的，当我们往下拉的时候将会看到图片在不停的加载，这就是ajax,但是当我们下拉到底的时候就会看到整个页面加载了60条裤子的信息，我们打开chrome的调试工具，...

2017-05-26 10:57:00 104

转载 python爬虫之BeautifulSoup

python爬虫之BeautifulSoup简介Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除...

2017-05-26 10:56:00 109

转载 python制作pdf电子书

python制作pdf电子书准备制作电子书使用的是python的pdfkit这个库，pdfkit是 wkhtmltopdf 的Python封装包，因此在安装这个之前要安装wkhtmltopdf安装wkhtmltopdfsudo apt-get install wkhtmltopdf (ubantu下，不过这里安装的时候可能对应的版本不同，会出现错误，如果不行的话还请自己百...

2017-05-26 10:53:00 241

转载 python实现微信接口(itchat)

python实现微信接口(itchat)安装sudo pip install itchat登录itchat.auto_login() 这种方法将会通过微信扫描二维码登录，但是这种登录的方式确实短时间的登录，并不会保留登录的状态，也就是下次登录时还是需要扫描二维码，如果加上hotReload==True,那么就会保留登录的状态，至少在后面的几次登录过程中不会再次扫描二维...

2017-05-26 10:51:00 2195

转载 Scrapyd部署爬虫

Scrapyd部署爬虫准备工作安装scrapyd: pip install scrapyd安装scrapyd-client : pip install scrapyd-client安装curl:[安装地址](http://ono60m7tl.bkt.clouddn.com/curl.exe),安装完成以后将所在目录配置到环境变量中开始部署修改scrapy项目目录下...

2017-05-26 10:49:00 58

转载 python发送邮件

python发送邮件准备python中发送邮件主要用的是smtplib和email两个模块，下面主要对这两个模块进行讲解在讲解之前需要准备至少两个测试的邮箱，其中要在邮箱的设置中开启smtplib协议才可以进行发送和接受smtplibsmtplib.SMTP( [host [, port [, local_hostname[,timeout]]]]) host是SM...

2017-05-26 10:46:00 86

转载 scrapy抓取淘宝女郎

scrapy抓取淘宝女郎准备工作首先在淘宝女郎的首页这里查看，当然想要爬取更多的话，当然这里要查看翻页的url,不过这操蛋的地方就是这里的翻页是使用javascript加载的，这个就有点尴尬了，找了好久没有找到，这里如果有朋友知道怎样翻页的话，麻烦告诉我一声，谢谢了...，不过就这样坐以待毙了吗，所以就在chrome上搜，结果看到有人直接使用的这个网页,我当时一看感觉神奇的样子，...

2017-05-26 10:29:00 73

转载 Scrapy爬虫大战京东商城

Scrapy爬虫大战京东商城引言上一篇已经讲过怎样获取链接，怎样获得参数了，详情请看python爬取京东商城普通篇代码详解首先应该构造请求，这里使用scrapy.Request,这个方法默认调用的是start_urls构造请求，如果要改变默认的请求，那么必须重载该方法，这个方法的返回值必须是一个可迭代的对象，一般是用yield返回，代码如下： def star...

2017-05-26 10:29:00 128

转载 scrapy配置

scrapy配置增加并发并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。Scrapy默认的全局并发限制对同时爬取大量网站的情况并不适用，因此您需要增加这个值。增加多少取决于您的爬虫能占用多少CPU。一般开始可以设置为 100 。不过最好的方式是做一些测试，获得Scrapy进程占取CPU与并发数的关系。为了优化性能，您应该选择一个能使CPU占用率...

2017-05-26 10:28:00 84

转载 scrapy中的下载器中间件

scrapy中的下载器中间件下载中间件下载器中间件是介于Scrapy的request/response处理的钩子框架。是用于全局修改Scrapy request和response的一个轻量、底层的系统。编写下载器中间件1. process_request(request, spider)当每个request通过下载中间件时，该方法被调用。process_r...

2017-05-26 10:27:00 63

转载 scrapy设置"请求池"

scrapy设置"请求池"引言相信大家有时候爬虫发出请求的时候会被ban，返回的是403错误，这个就是请求头的问题，其实在python发出请求时，使用的是默认的自己的请求头，网站管理者肯定会不允许机器访问的，但是有些比较low的网站还是可以访问的，有时候网站管理者看到同一个请求头在一秒内请求多次，傻子都知道这是机器在访问，因此会被ban掉，这时就需要设置请求池了，这个和ip代理池是...

2017-05-26 10:26:00 224

转载 Scrapy中使用cookie免于验证登录和模拟登录

Scrapy中使用cookie免于验证登录和模拟登录引言python爬虫我认为最困难的问题一个是ip代理，另外一个就是模拟登录了，更操蛋的就是模拟登录了之后还有验证码，真的是不让人省心，不过既然有了反爬虫，那么就有反反爬虫的策略，这里就先介绍一个cookie模拟登陆，后续还有seleminum+phantomjs模拟浏览器登录的文章。还不知道cookie是什么朋友们，可以点击这里...

2017-05-26 10:25:00 71

转载 scrapy代理的设置

scrapy代理的设置在我的上一篇文章介绍了scrapy下载器中间件的使用,这里的scrapyIP的代理就是用这个原理实现的，重写了下载器中间件的process_request(self,request,spider)这个函数,这个函数的主要作用就是对request进行处理。话不多说直接撸代码import random import scrapyimport loggin...

2017-05-26 10:23:00 831

转载 scrapy架构初探

scrapy架构初探引言Python即时网络爬虫启动的目标是一起把互联网变成大数据库。单纯的开放源代码并不是开源的全部，开源的核心是“开放的思想”，聚合最好的想法、技术、人员，所以将会参照众多领先产品，比如，Scrapy，ScrapingHub，import io等。本文简单讲解一下Scrapy的架构。没错，通用提取器gsExtractor就是要集成到Scrapy架构中...

2017-05-26 10:21:00 47

转载 scrapy初试

scrapy初试创建项目打开cmd，在终端输入scrapy startproject tutorial,这里将在指定的文件夹下创建一个scrapy工程其中将会创建以下的文件：scrapy.cfg: 项目的配置文件tutorial/: 该项目的python模块。之后您将在此加入代码。tutorial/items.py: 项目中的item文件.tutorial/p...

2017-05-26 10:20:00 102

转载 Java IO学习笔记七

System对IO的支持System是系统的类，其中的方法都是在控制台的输入和输出，但是通过重定向也是可以对文件的输入输出System中定义了标准输入、标准输出和错误输出流，定义如下:static PrintStream err “标准”错误输出流。static InputStream in “标准”输入流。static PrintStream out “标...

2017-05-26 10:04:00 56

转载 Java IO学习笔记六

打印流在整个IO包中，打印流是输出信息最方便的类，主要包含字节打印流（PrintStream）和字符打印流（PrintWrite）。打印流提供了非常方便的打印功能，可以打印任何的数据类型，例如：小数、整数、字符串等等，相对于前面学习的几个文件的操作来说，这里的打印流是最简便的一个类了PrintStream主要功能是格式化的将内容写入文件，并不是打印在控制台上Print...

2017-05-26 08:32:00 41

转载 Java IO学习笔记五

管道流管道流的主要作用是可以进行两个线程间的通讯，分为管道输出流(PipedOutputStream)、管道输入流（PipedInputStream），如果想要进行管道输出，则必须要把输出流连在输入流之上，在PipedOutputStream类上有如下的一个方法用于连接管道：public void connect(PipedInputStream snk)throws IOExc...

2017-05-26 08:30:00 59

转载 Java IO学习笔记四

内存操作流之前的所有的流操作都是针对文件的，但是有时候只是想要实现数据间转换，此时如果我们想要创建一个文件然后再删除文件，那样显得有点麻烦，因此此时的内存操作流就显得很适合这类的操作，因为它只是在内存中存储，并不会真正的创建文件，内存操作流涉及的两个类是ByteArrayInputStream,ByteArrayOutputStream.ByteArrayInputStream...

2017-05-26 08:28:00 36

转载 Java IO学习笔记三

Java IO学习笔记三在整个IO包中，实际上就是分为字节流和字符流，但是除了这两个流之外，还存在了一组字节流-字符流的转换类。OutputStreamWriter：是Writer的子类，将输出的字符流变为字节流，即：将一个字符流的输出对象变成字节流的输出对象。InputStreamReader:是Reader的子类，将输入的字节流变为字符流，即：将一个字节流的...

2017-05-26 08:22:00 46

转载 Java IO学习笔记二

Java IO学习笔记二流的概念在程序中所有的数据都是以流的方式进行传输或保存的，程序需要数据的时候要使用输入流读取数据，而当程序需要将一些数据保存起来的时候，就要使用输出流完成。程序中的输入输出都是以流的形式保存的，流中保存的实际上全都是字节文件。字节流和字符流实际上字节流在操作时本身不会用到缓冲区（内存），是文件本身直接操作的，而字符流在操作时使用了缓冲区，通过...

2017-05-26 08:20:00 91

转载 Java IO学习笔记一

Java IO学习笔记一FileFile是文件和目录路径名的抽象表示形式，总的来说就是java创建删除文件目录的一个类库，但是作用不仅仅于此，详细见官方文档构造函数File(File parent, String child) 根据 parent 抽象路径名和 child 路径名字符串创建一个新 File 实例。File(String pathname) 通过将给定路径...

2017-05-26 08:10:00 61

dm13708279009的博客