- 博客(25)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 Python 利用selenium和PhantomJS 爬取京东商品页面商品列表
selenium+PhantomJS 介绍、安装、使用：https://blog.csdn.net/qq_34288630/article/details/80342255一、分析所要爬取url：京东商品列表如图： 3、每页有很多商品，打开页面只加载了一部分，所以需要滑动将所有的数据加载出来，否则获取不到 4、故用selenium模拟浏览器下滑操作，再将页面源码给bs4进行解析...
2018-05-31 17:09:08
1091
原创 一、高并发秒杀API简介与业务分析
一、简介该项目主要整合Mybatis+Spring+SringMVC 三个框架开发的；同时这三个框架也是互联网公司的常用框架，比如美团、阿里、搜狐、京东等大型互联网网站常用这三个框架，主要是因为这三个框架易于使用并且比较轻量级，另外一个原因就是低代码侵入性，并且拥有成熟的用户群和社区。现在网络上秒杀和红包类业务需求越来越常见，这种业务是一种竞争性产品，具有很典型的事务特性。学会分析、...
2018-05-31 14:06:53
317
原创 二、高并发秒杀API之Dao层设计实现
一、Idea创建maven1、File——-》new———》project 2、选择maven 点击next！3、输出项目名，包(表示web项目，以后可以spingMVC连起来用) 点击next！4、如下图 maven仓库可以选择你自己的下一步！点击完成！5、在main文件下新建Java文件 放源代码 （1）web.xml文件改变servl...
2018-05-31 11:46:20
376
原创 经典数据库sql练习
经典练习： 四张表：学生表 、老师表、课程表、成绩表学生表 ：CREATE TABLE `student` ( `student_number` int(10) NOT NULL AUTO_INCREMENT COMMENT '学生学号', `student_name` varchar(50) NOT NULL COMMENT '学生姓名', `student_age` in...
2018-05-29 17:29:14
359
原创 Python中遇到的错误IndentationError: unexpected indent
刚开始学习python一段时间今天遇到了一个问题： IndentationError: unexpected indent 查了这是缩进的错误，python讲求缩进严格，有时候粗心大意不注意就会出现这种错误。修改报错位置的缩进。就可以解决...
2018-05-29 10:12:03
1197
原创 pycharm 运行调试scrapy爬虫项目
1、打开python scrapy项目： 在spider文件下的爬虫文件dd.py中，代码里name = ‘dd’ ,这个名字后面用到2、在spider文件下新建一个启动文件 start.py这里写代码片...
2018-05-29 10:08:30
676
原创 python scrapy框架爬取当当网商品信息
创建项目：scrapy startproject dangdang 如下用pycharm打开： 使用默认模版创建爬虫scrapy genspider -t basic dd dangdang.com执行完毕： 一、编写item，需要爬取的信息model# -*- coding: utf-8 -*-# Define here the models for yo...
2018-05-29 09:53:49
1411
原创 Python爬虫（代理的使用）
好多网站都有反爬措施，例如很多网站会检测某一段时间某一个IP的访问次数太过于频繁，就有可能会禁止这个IP的访问。当然面对这种情况可定也有相应的措施，我们只要隔一段时间换一个IP就可以了。因此我们就需要一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬。在python中，可以使用urllib2中的ProxyHandler来设置使用代理服务器，下面通过代码说明如何来使用...
2018-05-24 10:37:06
3231
1
转载 存储过程
存储过程一般处理比较复杂的任务，基础ms这个平台，可以大大降低耗时，其编译机制也提高了数据库执行速度。当然在系统控制方便方面，例如当系统进行调整时，这是只需要将后台存储过程进行更改，而不需要更改客户端程序，也不需要重新安装客户端应用程序。存储过程不仅仅适用于大型项目，对于中小型项目，使用存储过程也是非常有必要的。其威力和优势主要体现在： 1、存储过程只在创造时进行编译，以后每次执行存储过...
2018-05-22 11:40:49
387
转载 Spring 中的事务控制
编程式事务、这里不讲，就是将事务的开启关闭写在代码里。不做重点。1、Spring的声明式事务控制编程式事务管理将数据层提交事务的代码加入逻辑层，与Spring无侵入式编程思想的主思想冲突，实际开发过程中，往往采用声明式事务管理形式通过编程式事务管理的代码不难看出，在业务逻辑层对应的业务上添加某些代码即可完成整体事务管理的操作，SpringAOP的思想，将公共的代码加入后，即可完成对应的...
2018-05-21 14:42:01
10850
1
原创 MyBatis常用对象SqlSessionFactory和SqlSession介绍和运用
学习框架一个比较好的路径阅读源码.本文介绍的SqlSessionFactory和SqlSession.可以通过了解SqlSessionFactory接口和SqlSession接口以及两个的实现类入手,去看源码了解实现过程.最好能把项目下载到本地,慢慢分析实现过程.Myabtis官网：http://www.mybatis.org/ github地址：https://github.com/my...
2018-05-18 14:36:18
609
原创 Java中大量数据批量处理方式
在订单中心处理订单，总会遇到大批量订单处理的业务，下面就将如何大批量处理数据来提高效率做一个总结； 代码设计：在dao层写批量新增的方法。以及实现dao的实现类，在service调用这个dao就可以了，不过最终走的还是单个只不过是集合的遍历。IOrderBatchDao public interface IOrderBatchDao { /** * 保存多条记录...
2018-05-18 11:11:44
22699
2
原创 Python 爬虫框架 Scrapy 简介、安装、配置、入门示例
一、Scrapy 安装1、执行下面命令 pip install Scrapy 2、通过PyCharm安装 （安装第三方类库的方法一样）file ——》seting 安装成功后验证一下 cmd 输入 Scrapy: 二、创建一个scrapy项目输入命令： scrapy startproject tutorial 创建成功！打开！ ...
2018-05-17 15:23:34
241
原创 Python爬虫 selenium+PhantomJS 介绍、安装、使用
之前用Java做过爬虫，也用到过selenium和PhantomJS。最近痴迷于python爬虫，将selenium+PhantomJS在python中的应用详细总结一下。一、Selenium介绍Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，...
2018-05-16 20:12:06
4096
1
转载 深入理解java核心机制（虚拟机JVM类加载，反射）
一、java的核心机制java有两种核心机制：java虚拟机（JavaVirtual Machine）与来及回收机制（Garbage collection）Java虚拟机：是运行所有java程序的抽象计算机，是java语言的运行环境，在其上面运行Java代码编译后的字节码程序，java虚拟机实现了与平台无关性 java垃圾回收：自动释放不用对象内存空间，在java程序运行过程中自动进...
2018-05-14 11:10:15
431
原创 IDEA激活方式
我用的idea2017.2x64 ，刚开始安装需要激活，用了一段时间提示再一次激活： 试了几种都不可以,填入下面的license server: http://intellij.mandroid.cn/ http://idea.imsxm.com/ http://idea.iteblog.com/key.php 这几种都不好使，可能是idea版本问题 下面这种是...
2018-05-14 08:48:30
904
转载 Spring框架 AOP（动手模拟Spring的AOP）（二）
简单来说，spring是一个轻量级的控制反转（IOC）和面向切面（AOP）的容器框架。1、AOP简述面向对象强调“一切皆对象”，是对真实世界的模拟。然而面向对象也并不是完美无缺，它更注重于对象层次结构方面的东西，对于如何更好的管理对象行为内部结构，还存在些许不足。那么如何使这个问题得到更完美的解决呢？答案就是AOP。说到AOP，我们就不得不提一下软件的纵向和横向问题，从纵向结构来看我们...
2018-05-11 14:14:49
139
原创 Python爬虫之爬取知乎帖子并保存到mysql（以及遇到问题和解决方法）
前提：安装好MySQLdb模块 安装方法：https://blog.csdn.net/qq_34288630/article/details/802672631、爬取url：https://www.zhihu.com/topic/19607535/top-answers 爬取问题标题并保存到数据库：代码：# coding=utf-8import urllibimport u...
2018-05-11 11:42:41
1166
原创 python2.7安装MySQLdb模块（以及安装出现的问题和解决方式）
1、安装MySQLdb我的Python的版本为2.7，需要额外安装的库有两个，一个是Beautiful Soup，（解析网页）一个是MySQLdb（连接mysql）进入https://sourceforge.net/projects/mysql-python/ 下载 MySQLdb下载号双击exe： 此时遇到问题 安装MySQL-python-1.2.4b4.win32...
2018-05-10 14:30:18
4142
转载 Spring框架 AOP（原理详解）（一）
上次的博文https://blog.csdn.net/qq_34288630/article/details/80223612(Spring框架 IOC（原理详解）（一）)中，我为大家简单介绍了一下Spring框架核心内容中的IoC，接下来我们继续讲解另一个核心AOP（Aspect Oriented Programming），即面向切面编程。1、OOP回顾在介绍AOP之前先来回顾一下比较熟...
2018-05-10 09:45:55
337
转载 Spring框架 IOC（动手模拟spring的IoC）（二）
结合上一篇ioc详解，理解清楚ioc是什么，看到一篇博客手动模拟spring的IoC，对他进一步学习，此处摘录下来日后来看：动手模拟IoC实现首先我们把我们用的dao、service、entity定义出来： Student.java :package com.bzu.entity; public class Student { private int id; ...
2018-05-09 17:49:40
155
原创 Python爬虫之百度贴吧
目标： 1、对百度贴吧的任意帖子进行爬取 2、爬取帖子指定内容 3、将爬取内容保存到文件1、分析urlhttps://tieba.baidu.com/p/3138733512?see_lz=1&pn=1 分析： https：传输协议 tieba.baidu.com：百度二级域名 p/3138733512：资源定位 see_lz=1&pn=1：参数se...
2018-05-08 14:07:23
344
原创 Spring框架 IOC（原理详解）（一）
一、Spring开源框架的简介Spring是一个开源框架，Spring是于2003 年兴起的一个轻量级的Java 开发框架，由Rod Johnson 在其著作Expert One-On-One J2EE Development and Design中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。Spring使用基本的JavaBean来完成以前只可能由EJB完成的事情。...
2018-05-07 11:47:12
4373
2
原创 Python爬虫之爬取豆瓣电影（二）
上一篇爬取到了5000多部电影的信息 ，并把电影数据保存到了movies中，其中每一项都是一个字典，包含评分rate，电影标题title，详情页URL，封面图片链接，豆瓣电影编号id等，此时我需要进一步爬取各个电影的对应的详情页，其中各个信息。导演，简介，语言，片长等首先遍历movies中的每一个url，请求url进入每部电影的详情页，分别获取其简介 看代码：# coding=u...
2018-05-02 09:52:54
544
原创 Python爬虫URLError异常处理
爬虫过程中遇到URLError和HTTPError的处理1、URLError首先解释一下URLError可能产生的原因： (1)网络无连接，即本机无法上网 (2)连接不到特定服务器 (3)服务器不存在在代码中，我们需要用try-except语句来包围并补货异常，下面的例子：# coding=utf-8import urllib2request = urllib2.R...
2018-05-02 09:31:29
356
并创建一个docker容器中执行docker远程服务，并且命令不用添加-H，用户无感知使用的是远程docker。所需要替换文件
2022-06-13
idea 搭建springboot 集成mybatis+springmvc
2018-07-04
spring-cloud 原创代码例子包含服务发现、服务注册、服务路由、熔断器、feign等
2018-05-21
spring boot ribbon-consumer工程：使用Ribbon实现的消费者服务
2018-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人