weixin_45609831的博客

scrapy模拟浏览器爬取51job51job链接网络爬虫时，网页不止有静态页面还有动态页面，动态页面主要由JavaScript动态渲染，网络爬虫经常遇见爬取JavaScript动态渲染的页面。动态渲染页面爬取，就是模拟浏览器的运行方式，可以做到在浏览器中看到是什么内容爬取的源码就是相应的内容，实现了可见即可爬。这个方法在爬虫过程中会打开一个浏览器 加载该网页，自动操作浏览器浏览各个网页，同时也可爬取加载的页面 HTML。用一句简单 而通俗的话说，就是使用浏览器渲染方法将爬取动态网页变成爬取静态网页

目的：爬取重庆工程学院 中的管理学院的学院动态百度搜索重庆工程学院，看到如图所示因为我使用scarpy框架，不懂得可以看看我之前的文章（简单的理了一下步奏）

Python数据分析与挖掘——泰坦尼克号本文利用已给特征属性和存活与否标签的训练集和只包含特征信息测试集数据，通过决策树等模型来预测测试集数据乘客的生存情况#导包import numpy as npimport pandas as pdfrom sklearn.tree import DecisionTreeClassifier as DTC #决策树from sklearn.model_selection import GridSearchCV # 超参数自动搜索模块from skle

xpath简介XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。XPath被开发者用来当作小型查询语言，基于XML的树状结构，用于定位元素节点、属性节点、文本节点，提供在数据结构树中找寻节点的能力。lxml库的安装lxml库是一种执行效率高并且简单易学的第三方网页解析库，是本书推荐读者必须要掌握的网页解析库。lxml库不是Python标准库，需要自行安装。可以在命令行下使用pip命令安装lxml库。pip install lxml在

爬虫——豆瓣电影top250无论是动态网页爬虫和静态网页爬虫，实现的思路基 本上都是获取页面 html、页面解析、数据保存或输出。虽然获取页面 html 以及数据保存都 已经封装为通用函数，但依然编写繁琐。使用爬虫框架可以很好的解决这些问题，让我们在 编写爬虫的过程中专注于页面解析，大大简化编写爬虫的工作量，并能提高爬虫运行的效率。所谓的爬虫框架，是一个半成品的爬虫，已经实现了工作队列、下载器、保存处理数据 的逻辑以及日志、异常处理、反反爬虫等通用功能。对于使用者来说，更多的工作是通过更 改配置调整需要

商品购物篮购物篮分析是商业领域最前沿、最具挑战性的问题之一，也是许多企业研究的重点问题。购物篮分析是通过发现顾客在一次购买行为中放入购物篮中不同商品之间的关联，研究客户的购买行为，从而辅助零售企业制定营销策略的一种数据分析方法。本章使用Apriori关联规则算法实现购物篮分析，发现超市不同商品之间的关联关系，并根据商品之间的关联规则制定销售策略。购物篮关联规则挖掘主要步骤如下：1)对原始数据进行数据探索性分析，分析商品的热销情况与商品结构。2)对原始数据进行数据预处理，转换数据形式，使之符合Apr

航空数据模型数据探索# 导入需要的库import numpy as npimport pandas as pdimport matplotlib.pylab as pltplt.rcParams['font.sans-serif']=['SimHei'] plt.rcParams['axes.unicode_minus']=False plane=pd.read_excel('./航空数据.xls') #读取数据plane.head()plane.info()des=plane.

决策树是一种非参数的有监督学习方法决策树算法的核心是要解决两个问题：1）如何从数据表中找出最佳节点和最佳分枝？2）如何让决策树停止生长，防止过拟合？不纯度越低，决策树对训练集的拟合越好Criterion这个参数正是用来决定不纯度的计算方法的。sklearn提供了两种选择：输入”entropy“，使用信息熵（Entropy）输入”gini“，使用基尼系数（Gini Impurity）from sklearn.tree import DecisionTreeClassifier as DT

Java异常处理机制什么是异常运行时发生的错误称为异常。处理这些异常就称为异常处理。一旦引发异常，程序将突然中止，且控制将返回操作系统。发生异常后此前分配的所有资源都将保留在相同的状态，这将导致资源漏洞。Java异常处理基础Java异常处理机制采用一个统一和相对简单的抛出和处理错误的机制。如果一个方法本身能引发异常，当所调用的方法出现异常时，调用者可以捕获异常使之得到处理；也可以回避异常，这时异常将在调用的堆栈中向下传递，直到被处理。常见异常及其用途异常处理机制Java异常机

hbase基本操作命令1.命名空间list_namespace：列举所以命名空间list_namespace_tables：列举指定命名空间中的表alter_namespace：修改命名空间create_namespace：创建命名空间describe_namespace：查看指定命名空间配置drop_namespace：删除命名空间2.新建表create ‘命名空间:表名’ , ‘列族名1’ , ‘列族名2’，… , ‘列族名n’create ‘命名空间:表名’,{语法参数}

熟悉常用的Linux操作一、 实验目的为后续上机实验做准备，熟悉常用的Linux操作。二、实验平台操作系统：Linux三、实验内容和要求cd命令：切换目录（1）切换到目录 /usr/localcd /usr/local（2）去到目前的上层目录cd . .（3）回到自己的主文件夹cd ~ls命令：查看文件与目录（4）查看目录/usr下所有的文件cd /usrls -almkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在cd /

伪分布式Hadoop平台搭建一、 实验目的1.掌握配置集群节点间免密登录2.掌握配置JDK3.掌握配置部署hadoop的步骤和配置相关环境文件4.掌握如何启动HDFS二、实验环境电脑+VMware虚拟机一台内存配置要求：8G及以上三、实验步骤（一）创建hadoop用户(已创建请忽略)1、创建hadoop用户[root@hadoop1 ~]# adduser hadoop//创建用户，我命名为hadoop2、修改hadoop的主机名字vim /etc/hostnamemas

分布式数据库HBaseHBase简介1.从BigTable说起BigTable是一个分布式存储系统利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据使用谷歌分布式文件系统GFS作为底层数据存储采用Chubby提供协同服务管理可以扩展到PB级别的数据和上千台机器，具备广泛应用性、可扩展性、高性能和高可用性等特点谷歌的许多项目都存储在BigTable中，包括搜索、地图、财经、打印、社交网站Orkut、视频共享网站YouTube和博客网站Blogger等2.HBase简介HB

java 面向对象 基础练习三种方式实现圆柱体类的设计并生成具体的圆柱体对象进行测试1，简单类（半径，高）2，类作为一个数据类型使用（底，高）3，继承（半径，高。父类是圆，子类是圆柱体）1，简单类（半径，高）package ZuoYe2_1;public class YuanZuTi { private double r;//半径 private double height;//高 final double PI=3.1415826;//常量π //构造方法 public Yu

逻辑回归回归，用于处理和预测连续型标签的算法线性回归完成的是回归拟合任务，而对于分类任务，我们同样需要一条线，但不是去拟合每个数据点，而是把不同类别的样本区分开来。正则化L1范式表现为参数向量中的每一个参数的绝对数之和L2范式表现为参数向量中的每一个参数的平方和的开方值正则化强度逐渐增大，参数的取值会逐渐变小，L1正则化会将参数压缩为0，L2正则化只会让参数尽量小，不会取到0导入所需要的的库from sklearn.linear_model import LogisticRegressi

导入需要的模块和库import numpy as npimport pandas as pdimport matplotlib.pylab as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号from sklearn import linear_model #导入线性模型模块model=linear_model.Lin.

波士顿房屋价值模型预测import numpy as npimport pandas as pdimport matplotlib.pylab as pltplt.rcParams['font.sans-serif']=['SimHei'] plt.rcParams['axes.unicode_minus']=False from sklearn import linear_model model=linear_model.LinearRegression() 导入数据from s

36.打印图形112123123412345package ZuoYe1_jt;public class ZuoYe_36 { public static void main(String[] args) { // TODO Auto-generated method stub for(int i=1;i<=5;i++) { for(int j=1;j<=i;j++) { System.out.print(j); } System.ou

31.打印九九乘法表，形式如下(三角形)package ZuoYe1_jt;public class ZuoYe_31 { /** *主方法：多重循环 *@param args *@return 没有返回值 */ public static void main(String[] args) { // TODO Auto-generated method stub //定义 int i;//控制外层循环 int j;//控制内层循环 //输出 System

26.求前50个素数的和。（素数是一个大于1且只能被1和它本身整除的整数）package ZuoYe1_jt;public class ZuoYe_26 { public static void main(String[] args) { // TODO Auto-generated method stub int x; int i; int sum=0; int count=0; for(x=2;x<=1000;x++) { //从2开始