ysy_1_2的博客

原创 mybatis实现增删改查

1.mybatis实现增删改查测试1.1pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0" xsi:schemaLocation="http://maven.apache.org/POM/4.0

原创 mybatis 查询数据表

mybatis查询数据表1.mybatis的环境搭建2.创建实体类和dao的接口2.1 实体类中的属性和数据库表的字段名称保持一致.3.创建Mybatis的主配置文件SqlMapConifg.xml4.创建配置文件IUserDao.xml4.1搭建环境注意事项5.导入log4j.properties6.创建测试类7.通过注解来配置7.1删除resource下的com/lzy/dao/IUserDao.xml,不能删掉配置文件.7.2 在IUserdao下写上注解7.3 修改主配置文件1.mybatis的环

原创 大数据 爬取网站并分析数据

1.用scrapy爬取前途无忧网站,我爬了10w多条数据,在存入MongoDB中.# -*- coding: utf-8 -*-import scrapyfrom qianchengwuyou.items import QianchengwuyouItemclass QiangchengSpider(scrapy.Spider): name = 'qiangcheng' allowed_domains = ['51job.com'] start_urls = ["htt

原创 python scrapy爬起招聘网站+可视化

1.创建爬虫项目scrapy startproject[项目名]使用命令创建一个爬虫:scrapy gensipder yingcaiwang "域名"运行爬虫命令scrapy crawl knowlegde (name名)2.目录结构介绍2.1 items.py：用于存放爬虫爬取下来数据的模型2.2 middlewares.py: 用于存放各种中间件的文件2.3 pipelines.py: 用于将items的模型存储到本地磁盘中.2.4 settings.py:本爬虫的一些配

原创 python 类

面向对象是最有效的软件编写方法之一,在面向对象编程中,你编写显示世界中的事物和情景类,并基于这些类来创建对象,编写类时,你定义类对象都有通用的行为,基于类创建对象时,每个对象都自动具备这些通用行为,然后可根据需要赋予每个对象独特的个性,使用面向对象来模拟实现情景.更具类创建对象被称为实例化,这能够让你使用类的实例,学习中,你将编写一些类并创建其实例,你将指定可在实例中存储什么信息,定义可对这些实例执行那些操作,你还将编写一些类来扩展既有类的功能,让相似的类能够高效地共享代码,你把自己编写的类存储在模块中,

原创 python 函数

1.要执行函数定义的特定任务,可调用函数,需要在程序中多次执行同一任务时,你无需反复编写该任务的代码,而只需要执行该任务的函数,让python运行其中的代码,你将发现,通过使用函数,程序的编写、阅读、测试和修复都将更容易.2.定义函数下面简单打印问候信息,名为Hello world!!!这个示列演示简单的函数结构,代码使用def来告诉python定义一个函数,这是函数定义,向python指出了函数名,还可能在扩号内指出函数为完成其任务徐涛什么样的信息,在这里,函数名为hello_user(),它不需要

原创 python 字典

1.字典可以存储的信息量几乎不受限制,因此我会演示如何遍历字典中的数据,另外,你还将学习存储字典的列表、存储字典的列表、存储列表的字典和存储字典的字典,创建字典后,你可以存储多少信息就存储多少信息:年龄、姓名、地址、职业以及要描述的任何方面,你还能够存储任意两种相关的信息,一系列单词及含义,一系列人名及其喜欢的数字.1.1一个简单的字典我们创建一个人的字典,保存这个人的年龄和爱好,然后在打印出来访问这些信息.熟悉使用字典后,就能够描述模拟世界中的情形.1.2 使用字典字典是一系列键值对,每个键都

原创 python 元组

1.元组列表非常适合用于存储在程序运行期间可能变化的数据集,列表是可以修改的,这对处理网站的用户或游戏中的角色列表极为关键,然而,有时候你需要创建一系列不可修改的元素,元组可以满足这种需求,python将不能修改的值称为不可变的,而不可变的列表称为元组.1.1 定义元组元组看起来犹如列表,但使用园括号而不是方括号,定义元组后,就可以使用索引来访问其元素,就像访问列表元素一样.列如,我们定义一个数,从而确保它是不可以修改的我们定义了一个元组math,为此我们使用了圆括号而不是方括号,接下来,我们分别

原创 python列表

1.列表是什么列表 由一系列按特定顺序排列的元素组成.你可以创建包含字母表中所有字母、数字0~9或所有家庭成员姓名的列表;也可以将任何东西加入列表中,其中元素之间可以没有任何关系,鉴于列表通常包含多个元素,给列表指定一个表示复数的名称(如lpersons、letters).在python中,用方括号( [ ] )来表示列表,并用逗号分隔其中的元素,下面是一个简单的列表示列,这个列表包含了几种自行车.打印出来列表,python将答应列表内部表示,包括方括号.我们如何访问列表中的元素呢?2.访问列表

原创 Hadoop 搭建完全分布式

@Hadoop搭建完全分布式建议克隆更快一、 搭建的环境1.操作系统:Centos7机器:虚拟机3台JDK:1.8 Hadoop-2.9.2二、搭建步骤1.每台机器暗转&配置JDK2.创建目录 mkdir /usr/java3.上传jdk安装包到 /usr/java4.追加环境变量 vi /etc/profile5.使环境变量生效 source /etc/profile6.检测jdk正确安装 java -version三级目录...

原创 Linux 常用命令

1.history 可以查看历史命令2.Ctrl+p 向上滚动(上键也可以)3.Ctrl+N 向下滚动(下键也可以)4.Crtl+B 光标向前移动5.Ctrl+F 光标向后移动6.Ctrl+A 光标直接跳到行首7.Ctrl+E 光标直接跳到行尾8.Ctrl+H 删除光标前边一个的字符9.Ctrl+D 删除光标后边(盖住)的字符10.Ctrl+U 删除光标前面的字符11.date 查看·时间12.table 自动填充命令 也可以自动填

原创 sqoop的安装搭建和基础命令

1.安装包在这里链接：https://pan.baidu.com/s/1HLHQerjsV-1tsSxXpBKm8g提取码：ww052.我是解压到 /usr/sqoop下的我把sqoop-1.4.4.bin__hadoop-2.0.4-alpha改为了sqoop文件,更改命令mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop3.配置环境变量vi /etc/profile#sqoopexport SQOOP_HOME=/usr/sqoop/s

原创 Mybatis框架

Mybatis框架一、框架概述1.1.1 什么是框架1.1.2 三层架构1.1.3 持久层技术解决方案二、 MyBatis框架概述三、MyBatis三级目录一、框架概述1.1.1 什么是框架 框架(Framework)是整个或部分系统的可重用设计,表现为一组抽象构件及构件实例间的方法;另一种定义认为.框架是可被用于应用开发的应用骨架.前者是从应用方面而后者是从目的方面给出的定义. 它是我们软件开发中的一套方案,不同的框架解决的是不同的问题. 使用框架的好处:

原创 hive 练习影评案列

一、案列说明:现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072，共有6040条数据对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释：用户id，性别，年龄，职业，邮政编码2、movies.dat 数据格式为： 2::Jumanji (1995)::Adventure|Children’s|Fantasy，共有3883条数据对应

原创 Hive数据类型

1.基本数据类型2.复杂数据类型一、数组类型array案列一:原数据建表语句create external table ex(vals array<int>) row format delimited fields terminated by '\t'collection items terminated by ',' location '/ex';上传数据.load data local inpath '/usr/wenjian/array1.txt' overwr

原创 hive 基本指令命令

1.show databases 查看有那些数据库2.创建park数据库,实际上hadoop的HDFS文件系统里创建一个目录节点,统一存在/usr/hive/wareshouse目录下3.进入数据库4.查看当前数据库下的所有表5.创建stu表,以及相关的两个字段在hive中,用的是string,不用char和varchar,此外,所创建的表,也是HDFS里的一个目录节点。在hive里面有一个default数据库,这个hdfs目录结构上是看不到的,凡是在default数据库下建立的表,

原创 hive 报错Error:name PCS_STATS_IDX (state=42000,code=1061)

hive中的报错Error: Duplicate key name ‘PCS_STATS_IDX’ (state=42000,code=1061)org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!Underlying cause: java.io.IOException : Schema script fail

原创 hadoop 伪分布式的idea基于hadoop插件-HadoopIntellijPlugin

1.导入插件包2.设置hadoop

原创 hadoop伪分布式搭建

Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。完全分布式—— 真正的分布式，由3个及以上的实体机或者虚拟机组成的机群。一个Had

原创 linux 搭建虚拟机--克隆

虚拟机搭建一、创建一台虚拟机1.查看IP地址1.1 找到虚拟网络编译器.2.设置IP地址2.1 我们在虚拟机中输入如下命令2.3 我们就可以进行编译,修改如下信息然后我们可以重新启动服务service network restart,在ip addr查看修改的IP一、关闭防火墙1.查看防火墙的状态命令2.暂时关闭防火墙的命令3:永久关闭防火墙4:重启防火墙三、修改config中的配置3.1 我们进...

原创 python selenium

1.Selenium是一个用于Web应用程序测试的工具.Selenium测试直接在浏览器中,就绪真正的用户才做一样,支持的浏览器包括IE,Mozilla Firefox,Safari,Google Chrome等2.selenium使用场景我们前面接触到的都是request+xpath组合对静态网页镜像请求和数据解析若是JS生成的内容,可以尝试寻找API接口来获取数据但是有的时候,网页数据...

原创 python 模拟豆瓣登录

1.我们登录豆瓣2.然后我们找到登录信息可以在下面看到你的From Date,我们可以构造一个字典,把东西传入去.就可以登录.

原创 java web 购物车

文章目录一.功能需求1.普通用户2.管理员用户二.设计思路(一)采用MVC设计模式(二)前台购物1.购物流程2.用户注册(三)后台管理1.用户管理2.类别管理3.商品管理4.订单管理三.实现步骤(一)创建数据表(二)创建Web项目1.创建Web项目shop2.在项目结构窗口设置Artifacts名词:shop3.配置服务器(Server)4.设置部署(Deployment)(三)创建实体类1.用户...

原创 java web Servlet

1.什么是ServletJava Servlet 是运行在 Web 服务器或应用服务器上的程序，它是作为来自 Web 浏览器或其他 HTTP 客户端的请求和 HTTP 服务器上的数据库或应用程序之间的中间层。使用 Servlet，您可以收集来自网页表单的用户输入，呈现来自数据库或者其他源的记录，还可以动态创建网页。HttpServlet类HttpServlet继承于GenericServl...

原创 Java Web 利用JDBC访问数据库

一、JDBC概述JDBC(Java DataBase Connectivity)是一种执行SQL语句的Java API,可以为多种数据库提供统一访问,它由一组用java语言编写的类和接口组成,JDBC提供了一组基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序,同时,JDBC也是商标名.1.JDBC APIJDBC API可做三件事:与数据库建立连接、执行SQL语...

原创 python 爬取Q房网信息

首先找到爬取网站https://beijing.qfang.com/newhouse/list/n1箭头点击,XPath下来你的要爬取的信息把你要爬取的信息记录下来写入代码from lxml import etreeimport requestsimport csvimport time#写一个函数# def writecsv(item):# with o...

原创 java web application对象

1.application对象的作用application类似系统的"全局变量",用于实现用户之间的数据共享.2.application对象的常用方法1.void setAttribute(String key, Object value)：以键/值的方式，将一个对象的值存放到application中2.Object getAttribute(String key)：根据键去获取appli...

原创 javaweb session对象

1.什么是回话一个回话就是浏览器与服务器之间的一次通话,包含浏览器与服务器之间的多次请求、响应过程.session对象用来存储有关用户的所有信息.2.利用回话机制实现访问控制访问控制实例:下载电子书时,系统会提示用户登录3.session对象常用方法4.session与窗口的关系每个session对象都与浏览器一一对应,重新开启一个浏览器,相当于重新创建一个session对象;通过超...

原创 javaweb Cookie

一、Cookie浏览购物网站查看不同商品时,系统会自动记录已经浏览过的商品,Cookie是Web服务器保存在客户端的一系列文本信息.要注意编码问题,如果编码不对,可以打印信息处理检查.创建CookieCookie newCookie=new Cookie("parameter","value");parameter:用于代表cookie名称(key)value:用于表示当前key名称所...

原创 SQL LIKE操作符

1.上面讲的都是针对已知值进行过滤,不管是匹配一个值还是多个值,检验大于还是小于已知值,或者检查某个范围的值,其共同点是过滤中使用的值都是已知的.但是过滤方法不是任何时候都好用的,例如快速找到产品中包含bean bag所有产品?用简单的比较符肯定不行,必须使用通配符,利用通配符,可以创建比较特定数据的搜索模式,在这个例子中,如果相同找出名称包含bean bag所有产品,可以构造一个通配符搜索模式...

转载 javaweb 用户注册和登录页面

在此之前,我们需要先了解基础知识.一、我们先了解一下JSP隐含对象？JSP隐含对象是Web容器创建的一组对象JSP隐含对象的名称是JSP的保留字JSP隐含对象是可以直接在JSP页面使用的对象,无需使用"new"获取实例二、JSP隐含对象三、request对象request对象主要用于处理客户端请求,当浏览器请求一个网页,会发送大量信息到web服务器,这些信息不能直接读取,因为信息...

原创 javaweb:jsp元素

一、Web容器处理JSP请求有三个阶段:转译(translate)—>编译(compile)—>解释(interpret)客户端发出请求Web容器将JSP转译成Servlet源代码Web容器将产生的源代码进行编译Web容器加载编译后的代码并执行把执行结果响应至客户端第一次请求响应,Web容器会重新对JSP文件进行翻译和编译.二、JSP元素准备工作有404报错...

原创 BeautifulSoup学习

1.BeautifulSoup是第三方的工具,它包含在一个名称为bs4的文件包中,需要另外安装,安装很简单,在命令行窗体中进入python的安装目录,在进入Scripts子目录.找到pip程序,执行:pip install bs4安装成功后在python的命令窗口中执行语句:from bs4 import BeautifulSoup没报错安装成功.HTML缺失根元素是Beautifu...

转载 python lxml安装报错

我这里试了几种办法,希望对你有帮助我的原因是pip没有更新,开始以为是网络问题.1.在这里面用阿里的镜像,把这个复制进pip里,在cmd在下载.[global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host = mirrors.aliyun.com2.更新pip,在cmd里面输入pytho...

原创 SQL WHERE高级数据过滤

1.讲解WHERE子句建立功能更强、更高级的搜索条件,将学习NOT和IN操作符上面我们将WHERE子句在过滤数据时使用的都是单元的条件,为了更强的过滤控制,SQL允许给出多个WHERE子句,这些自己有两种使用方式,即AND子句或OR子句使用方式.操作符(operator)用来联结或改变WHERE子句中的子句关键字,也称逻辑操作符.2.AND操作符用来检索满足条件的行要通过不止一个列进行...

原创 计算机英语

万恶的钉钉崩了 没听到讲的什么.Nearly 5,000 years ago the abacus emerged in Asia Minor.subject: the abacus(what)predicate:emerged(what happened) v.(vt.vi)no object:没有宾语.sentence pattern:句型 SVthe stem of the s...

原创 SQL WHERE过滤数据

1.过滤数据讲授SELECT语句的WHERE子句指定搜索条件使用WHERE子句数据库表包含大量的数据,很少需要检索表中的所有行.通常只会根据特定操作或报告的需要提取表数据的子集.只检索所需数据需要指定搜索条件,搜索条件也称为过滤条件.在SELECT语句中,数据根据WHERE子句中指定的搜索条件进行过滤,WHERE子句在表名(FROM子句)之后给出....

原创 java连接数据库

原创 java Collection

1.认识类集如果想保存多个对象,通常使用对象数组完成,但是对象数组本身存在一个大问题----其数据的长度是不能更改的,所以以后采用了链表完成动态对象数组开发,在考虑开发时数据会频繁地使用,所以引入了集类的概念,集类是一种动态的对象数组,属于各个数据结构的实现类,整个集类的主要组成是一些核心的操作接口:Collection 、List、Set、Map、Iterator、Enumeration.2...

原创 javaweb 在Intellij里创建Web项目(day02)

当然这样创建很麻烦,后面创建快捷Web只需几步.一、利用Intellij创建Web项目然后Next2.添加配置服务器3.在项目结构窗口添加Web功能4.添加项目对于服务器库的依赖5.启动服务器查看效果二、创建Web项目的简便方式创建Java Enterprise项目...