Stranger_top的博客

原创 Scrapy爬取ajax加载页面且post提交参数是Request Payload的方法

1. 怎么发起请求scrapy.FormRequest()目前还不支持Payload参数提交方法可以采用request的post方式：scrapy.Request(url, headers=headers, body=json.dumps(payload_data), callback=self.parse, method='POST')json.dumps():将dict格式转化成str格式2. Response返回来的一般是json数据格式，或者列表形式，亦或者数据中插入了一些字符，比如：

原创 采用scrapy对秀动网演出信息爬取

爬取结果mongodb数据库：spider文件分析秀动网站页面的布局，准备爬取我们需要的信息。没有粘贴代码，简单讲解一下爬取上海所有的演出信息。parse方法里面定义页面演出信息的列表：datas = response.xpath("/html/body/div[4]/ul/li")循环遍历这个列表，可以取到我们需要的剧目名称和详情页的urlitem['show_name'] = data.xpath('a/@title').extract()[0]url = data.xpath(

原创 shell编程

概述Shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动、挂起、停止甚至是编写一些程序。Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。Shell是解释执行的脚本语言，在Shell中可以调用Linux系统命令。shell脚本的执行方式vi helloworld.sh：新建一个脚本#!/bin/bash # 输出helloworldecho "helloworld"常用执行方式：一、输入脚本

原创 大数据之Linux基础

Linux目录结构/bin：这个目录存放着系统必备执行命令/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件/dev：该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方式是相同的/etc：所有系统管理所需要的配置文件和子目录/home：存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的/lib：系统开机所需要最基本的动态连接共享库，其作用类似于Windows里的DLL文件。几乎所有的

原创 通过scrapy爬取前程无忧招聘数据

创建项目：scrapy startproject ScrapyDemocd ScrapyDemoscrapy genspider bigqcwy msearch.51job.comitems.py文件添加爬取信息：class ScrapydemoItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 职位名称 name = scrapy.Fi

原创 通过selenium爬取新浪微博

from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.action_chains import ActionChainsimport csvimport PIL.Image as imagefrom PIL import Image, ImageEnhanceimport time, re, randomimport

原创 scrapy_redis分布式爬虫与scrapyd部署爬虫

仅供个人学习，如有侵权联系删除spider文件：# -*- coding: utf-8 -*-"""scrapy_redis实现分布式爬虫scrapyd部署"""import scrapyfrom pachong8.items import Pachong8Itemfrom scrapy_redis.spiders import RedisCrawlSpiderclass LianjiaSpider(scrapy.Spider):#class LianjiaSpider(Redis

原创 使用Scrapy框架爬取链家数据

仅供个人学习，如有侵权联系删除spider文件：lianjia.py# -*- coding: utf-8 -*-import scrapyfrom pachong6.items import Pachong6Itemclass LianjiaSpider(scrapy.Spider): name = 'lianjia' allowed_domains = ['m.lianjia.com'] start_urls = ['https://m.lianjia.com/bj/

原创 Scrapy爬取知乎数据并用scrapy_redis搭建分布式

知乎网站分析1、个人资料页面url为：https://www.zhihu.com/people/…2、分析出需要爬取内容的xpath创建爬虫使用crawl模板生成spiderscrapy startproject pachong7cd zhihuscrapy genspider -t crawl zhihu zhihu.com源码仅供个人学习使用，禁止爬取个人隐私、商业信息等items.py定义需要爬取的字段# -*- coding: utf-8 -*-import scrapy

原创 python爬取前程无忧招聘网站数据搭建Hadoop、Flume、Kafka、Spark用Hive做数据分析Sqoop存储到Mysql并实现可视化

文章目录一、环境搭建二、一、环境搭建二、

原创 Java基础学习06：面向对象

文章目录一、

原创 Java基础学习05：数组

文章目录一、数组定义二、一维数组1、语法格式2、Java中不同数据类型元素的初始值3、数组遍历4、数组最值5、案例演示（1）选择法降序排列数组（2）冒泡法降序排列数组三、二维数组1、数组定义2、直接赋值3、案例演示一、数组定义数组是指一组数据的集合，数组中的每个数据被称作元素在数组中可以存放任意类型的元素，但同一个数组里存放的元素类型必须一致声明一个数组就是在内存空间中划出一串连续的空间元素在数组中的排序下标从零开始二、一维数组1、语法格式数组类型[] 数组名 = new 数组类型[数组

原创 Java基础学习04：选择结构与条件循环

文章目录一、顺序结构二、选择结构1、单选择结构（1）语法格式（2）案例演示2、双选择结构（1）语法格式（2）案例演示3、多选择结构（1）并列式多选择结构（2）嵌套式多选择结构（3）延拓式多选择结构（4）开关式多选择结构三、循环结构1、for 循环2、while循环3、do....while循环4、案例演示四、打印水仙花数五、打印玫瑰花数、一、顺序结构除非特别说明，否则按顺序从上至下一句一句执行二、选择结构1、单选择结构满足条件就执行，不满足就跳到下一步（1）语法格式if (条件) {

原创 Java基础学习03：运算符与表达式

文档目录一、算术运算符1、注意事项2、案例演示（1）计算成绩差与平均成绩（2）幸运抽奖二、赋值运算符1、注意事项三、关系运算符1、案例演示（1）比较两个学生成绩（2）求解一元二次方程四、逻辑运算符1、注意事项2、案例演示（1）闰年判断（2）计算三角形面积五、位运算符1、注意事项六、条件运算符1、语法格式2、案例演示（1）根据输入年龄提示不同信息七、运算优先级1、运算优先级概述一、算术运算符1、注意事项在进行自增（++）和自减（–）的运算时，如果运算符（++或–）放在操作数的前面则是先进行自增或自减

原创 Java基础学习02：变量与常量

文档目录一、变量1、变量定义2、变量数据类型（1）整数类型变量（2）浮点数类型变量（3）字符类型变量（4）布尔类型变量3、变量类型转换（1）自动类型转换（2）强制类型转换（3）表达式类型自动提升（4）强制类型转换格式4、变量作用域二、常量1、字面常量（1）整型常量（2）浮点型常量（3）字符常量（4）字符串常量（5）布尔常量（6）null常量2、符号常量三、常见转义字符四、程序案例1、常见变量类型一、变量1、变量定义在程序运行期间，随时可能产生一些临时数据，应用程序会将这些数据保存在一些内存单元中，每个

原创 Java基础学习01：基础语法

文章目录一、Java基础语法格式1、语句分类（1）结构定义（2）功能执行2、Java大小写敏感二、Java注释1、文档注释2、多行注释3、单行注释三、Java关键字（保留字）四、Java标识符1、标识符构成规则2、Java标识符命名规范五、快捷操作1、生成主方法框架2、生成输出语句3、IntelliJ IDEA快捷键一、Java基础语法格式[修饰符] class 类名 { 程序代码}1、语句分类（1）结构定义声明一个类或方法，由修饰符、名称、主体构成package 包名;public

原创 Java环境搭建

文档目录一、JDK安装与配置1、下载JDK8u2012、安装JDK8u2013、配置环境变量二、Intellij IDEA安装一、JDK安装与配置1、下载JDK8u201链接：https://www.oracle.com/java/technologies/javase-downloads.html2、安装JDK8u201成功安装后查看是否安装成功：java -version3、配置环境变量打开设置搜索环境变量新建系统变量JAVA_HOME，变量值为安装JDK的地址编辑Pat

原创 Java Web简单学习路线相关案例

JSP元素一、JSP执行过程Web容器处理JSP请求有三个阶段：转译(translate)——>编译(compile)——>解释(interpret)客户端发出请求Web容器将JSP转译成Servlet源代码Web容器将产生的源代码进行编译Web容器加载编译后的代码并执行把执行结果响应至客户端第一次请求之后，Web容器可以重用已经编译好的字节码文件。注意：如果对JSP...

原创 Java Web实训项目：西蒙购物网（Simonshop）

一、功能需求1、只有注册用户成功登录之后才可查看商品类别，查看商品，选购商品，生成订单、查看订单。2、只有管理员才有权限进入购物网后台管理，进行用户管理、类别管理、商品管理与订单管理。二、设计思路三、实现步骤一、创建数据库创建MySQL数据库simonshop，包含四张表：用户表（t_user）、类别表（t_category）、商品表（t_product）和订单表（t_order）。...

原创 Intellij IDEA创建Web项目步骤

1.在左上角选择File然后New Project2.点击该页面的Next3.继续Next4.创建Web项目LoginDemo，点击Finish5.添加Web服务器配置，点击“+”，选择添加Tomcat Server的Local6.选择Configure7.点击Fix，选择添加8.将对应点actifacts配置到tomcat上...

原创 java学生信息管理系统实训总结

在这次实训中自己顺利完成了实训内容，还加入了自己编写的两个新功能：按性别查询和按姓名删除。整个实训我学习到了很重要的东西，也有了一定的经验。实训使我学习到了很多自带的方法，尤其是有关GUI的东西，比如trim()取消前后空格、pack()设置窗口恰好容纳组件等等，虽然有时候自己会遇到不懂的地方，但是还是能根据老师发的博客里面代码的相关注释和上网查相关资料来解决，这样也使自己对于这方面的知识加深了...

原创 java学生信息管理系统项目实训4

在student下面建立gui包：

原创 java学生信息管理系统项目实训3

在student下面创建service包：相关代码：package net.xsp.student.service;import net.xsp.student.bean.College;/**功能：学校服务接口作者：向仕平日期：2019年6月19日*/public interface CollegeService {College findcollegeById(int ...

原创 java学生信息管理系统项目实训2

src下面包含net.xsp.student:测试类：

原创 java学生信息管理系统项目实训1

转载 java面向对象基础知识

面向过程与面向对象的区别：面向对象，将跟对象有关的功能都封装在其内面向对象三大特征：封装，继承，多态找对象，创建对象，使用对象，并维护对象之间的关系类：对现实中事物的描述对象：就是实实在在 存在的事物映射到java中，描述就是class定义的类具体对象就是对应java在堆内存中new建立的实体类与对象：设计图纸就是类，里面包含对象的描述：比如说车的颜色，轮胎数，发动机…Note...

原创 第十周----面向对象小结

面向对象，就是将跟对象有关的功能都封装在其内面向对象三大特征：封装，继承，多态类：对现实中事物的描述对象：就是实实在在，存在的事物对象建立的时候，属性值都会先置为null，显式初始化后才会变成具体的值成员变量作用于整个类中，局部变量作用于函数或者语句中局部变量必须初始化，否则不能运行；成员变量有默认初始化值，因此可以不初始化；当成员变量和局部变量名称一致时，默认使用局部变量封装：隐藏...

原创 第九周总结

1.方法的重载方法的重载与返回值类型无关，他只需要满足两个条件，一是方法名相同，二是参数个数和参数类型不同。2.方法的递归方法的递归是指在一个方法的内部调用自身的过程。递归必须要有结束条件，不然会陷入无限递归的状态，永远无法结束调用。3.构造方法方法名与类名相同在方法名的前面没有返回值类型的声明在方法中不能使用return语句返回一个值，但是可以单独写return语句来作为方法的结束...

原创 第八周总结

由于这周要开展运动会的原因所以只上了三天课，java没有上。在星期三我们我们上的python课主要自己学习了案例：反恐精英CS源代码。自己在空余时间自己学习了java的面向对象相关知识：1.面向对象思想面向对象编程是当今主流的程序设计思想，已经取代了过程化程序开发技术，Java 是完全面向对象编程语言，所以必须熟悉面向对象才能够编写 Java 程序。　　面向对象的程序核心是由对象组成的，每...

原创 第七周总结

本周java课的学习主要是自己练习相关的代码编写，能完成老师布置的任务。课后自己看了电影《疯狂的麦克斯》一系列，第一部讲的是：麦斯（梅尔·吉布森饰）是一位性格冷峻的公路警察，当他的妻儿被那群疯狂的机车骑士袭击之后，他决定抛弃警徽以暴易暴。公路上时有飞车党抢劫燃料运输车，警员们既要和劫匪拼杀又要承受环境带来的巨大压力。公路巡逻队为了追捕夜晚骑士恶徒损失惨重，后来麦斯出面，由于车速过高，恶徒刹车不及...

原创 java打印水仙花数

package net.xsp.lesson05;/**功能：打印水仙花数作者：Stranger_top日期：2019年4月4日*/public class DaffodilNumbers {public static void main(String[] args) {int p3,p2,p1;int n = 100; // 初始条件 while (n <=...

原创 第六周生活总结

这周的java课先编写了上次课没完成的开关式评定成绩方法，对其相关知识进行了的简单讲解，主要讲解了打印水仙花数的源代码，并且自己也对打印玫瑰花数进行了练习，自己只是对分离出个位数、十位数、百位数、千位数有点问题，并不是不能理解它的逻辑而是从数学的角度没明白，在空余时间自己好好想了想就懂了它的分离方法。预习了：1. break语句在switch条件语句和循环结构语句中都可以使用break语句跳出...

原创 第五周的生活

这种重温了两部经典电影《这个杀手不太冷》、《赤道》。《这个杀手不太冷》讲的是纽约贫民区住着一个意大利人，名叫莱昂（让·雷诺饰），他是一名职业杀手。一天，邻居家小姑娘玛蒂尔达（娜塔莉·波特曼饰）敲开了他的房门，要求在他这里暂避杀身之祸。原来，邻居家的主人是警察的眼线，因贪污了一小包毒品而遭到恶警史丹菲尔（加里·奥德曼饰）剿灭全家的惩罚。玛蒂尔达得到莱昂的救助，开始帮莱昂管理家务并教其识字，莱昂则教女...

原创 java源代码实现判断闰年和平年

package net.xsp.lesson04;import java.util.Scanner;/**功能：判断闰年作者：Stranger_top日期：2019年3月21日*/public class JudgeLeapYear {public static void main(String[] args) {// 声明部分int year;Scanner s...

原创 java实现判断一个数是不是偶数

package net.xsp.lesson04;import java.util.Scanner;/**功能：判断一个数是不是偶数作者：Stranger_top日期：2019年3月21日*/public class JudgeEvenNumber {public static void main(String[] args) {// 声明部分int n;Scan...

原创 个人总结

时间如白驹过隙，一周很快就花完。这一周，从健康身体心理上讲，得到了真正放松，打了几个小时的篮球，心情也是比较愉快的。花了很多时间在写各种语言的代码，太累了。这一周吃素吃的太多导致自己很想吃零食。不知道为什么是想吃零食而不是肉。这一周的天气不是多好，不是特别冷但是也不热，主要是每天早上起来后天气很冷，不像这个季节该有的天气。这周由于学校音响坏了的原因不用早起做操是真的舒服，差不多可以多睡一个小时...

原创 java 测试基本数据类型和计算成绩、计算三角形面积、求解方程的根源代码

本周进行了java的数据类型学习，注意对变量进行赋值时必须先定义变量类型变量的类型转换分为自动和强制，自动转换就是从低到高的过程，最终都可以转换为双精度浮点数类型，强制转换就好比将大瓶中的水倒入小瓶中，可能造成数据丢失，所以系统默认不支持这种行为，只能由开发者自己决定是否强制转换常量是在程序中固定不变的值，是不能改变的数据package net.xsp.lesson03;import ja...

原创 第二周总结

1.编写java程序a.编写源程序HelloWorld.java关键字public、class、static、void必须小写对于公共类，类名必须与文件名保持一致String[] args：命令行参数是字符串数组System.out.println()：System类的out成员的println()方法b.学习了直接打印法和循环打印法2.for循环的三个条件：初始条件、循环条件、迭代...

原创 对第一周java学习的个人总结

1.java简史 Java是一个非常易于使用和存在久远的编程语言，今年（2017年）是其诞生的22周年。Java是一种广泛使用的计算机编程语言，拥有跨平台、面向对象、泛型编程的特性，广泛应用于企业级Web应用开发和移动应用开发。2.java语言的特点 简单 可移植 面向对象 分布式运算 高性能 健壮 安全 动态 体系结构中立3.JDK的安...