- 博客(52)
- 收藏
- 关注
RSS订阅原创 windows和Linux端口号被占用的解决办法
两个系统【windows版】1.找到使用的端口号2.找到被占用的端口号的PID后面的数字3.查看哪个程序占用端口4.结束程序或者3.4步可以从任务管理器操作【Linux版】1.CentOS系统下安装lsof命令2.以root 用户来执行`lsof -i `命令2.查看指定某一端口的占用情况【windows版】用“netstat ”查看端口状态，在Windows中,可以在命令提示符下使用“netstat ”查 看系统端口状态,可以列出系统正在开放的端口号及其状态Netstat -a -e -n -o
2021-08-10 17:01:51
1266
1
原创 1.HDFS的初步了解
传统扩容的方式：1.纵向扩容：增加磁盘和内存2.横向扩容：增加服务器数量主要目的： 解决海量数据存储问题，和上传下载效率实现方式： 将大文件分成多个数据块以并行（同时）方式存储到不同的服务器中，每个服务器存储两个数据块进行备份，这样每个服务器存储的文件要小很多，再增加一台服务器，专门记录，文件被切割后的数据块信息及数据块的存储位置信息（这里借用一个图演示一下实现方式，DataNode存储数据块，NameNode存储信息和管理）1.NameNode(名称节点，master主服务器)2.Data
2021-06-17 17:36:00
266
1
原创 11.bs4简单的使用
bs4是一个HTML/XML的解析器，其主要功能是解析和提取HTML/XML数据。它不仅支持CSS选择器，而且支持Python标准库中的HTML解析器，以及lxml的XML解析器。通过使用这些转化器，实现了惯用的文档导航和查找方式，节省了大量的工作时间，提高了开发项目的效率。一、构建 BeautifulSoup对象from bs4 import BeautifulSoupsoup=BeautifulSoup(html, ‘lxml’)上述示例中，在创建BeautifulSoup实例时共传入了两个
2021-05-07 20:44:34
733
原创 9.xpath概述
XPath 概述XPath ( XML Path Language的简写)即为XML路径语言作用：用于确定XML树结构中某一部分的位置。XPath 技术基于XML的树结构，能够在树结构中遍历节点(元素、属性等)。工作原理：XPath 使用路径表达式选取XML文档中的节点或者节点集，这些路径表达式与常规的计算机文件系统中看到的路径非常相似，代表着从一个节点到另一个或者一组节点的顺序，并以“/”字符进行分隔。注意: XPath 能够查询XML文档，也能够查询HTML文档。但是，它需要先借用lxml库
2021-05-07 20:03:46
931
原创 10.lxml简单的使用
为了能够在XML (关于XML技术，可参照htp://ww.w3school.comn.cn/xmnl/进行完整学习)文档树中准确地找到某个节点，引入了XPath的概念。1.XPath,是基于文档的层次结构来确定查找路径的2.区分正则表达式和XPath:(1)用正则表达式进行查找，则它会告诉你这个建筑本身有哪些特征，以及它的左边是什么，右边是什么。这样的描述限定查找的范围较大(2)而XPath会直接告诉你这个建筑位于“中国-北京-昌平区-建材城西路-金燕龙办公楼- -层"，相比较而言,这种描述更加具
2021-05-07 20:02:35
484
原创 2.NetWork中各种信息的意思
准备：url=‘https://movie.douban.com/top250?start=0’*#url页面分析；页面包括250条电影数据，分10页每页25条，最后数值=（页数-1）25#分析页面：借助开发者工具（F12），找规律，爬虫：模拟开发者工具鼠标点击html效果帮我们找到想要的文字Headers内容，让对方服务器接收到我们的请求时，可以了解我们是什么状态(以bilibili为例)GeneralRequest URL: #请求路径Request Method: OPTIONS
2021-05-04 11:54:38
1240
1
原创 4.pycharm添加第三方库
网络爬虫的第一步就是根据URL，获取网页的HTML信息。在Python3中，可以使用urllib.request和requests进行网页爬取。（1）准备所需库我们需要准备一款名为BeautifulSoup（网页解析）的开源库，用于对下载的网页进行解析，我们是用的是PyCharm编译环境所以可以直接下载该开源库。urllib库是python内置的，无需我们额外安装，只要安装了Python就可以使用这个库。requests库是第三方库，需要我们自己安装。第三方库安装步骤如下：选择File-&g
2021-05-04 10:45:49
2619
原创 JDBC课程案例整理（公共代码部分）
1.JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。本案例介绍java连接数据库的增删改查操作1.首先我们要有一个数据库表/*在MySQL中创建一个名称为chapter01的数据库， 然后在该数据库中创建一个users表，SQL语句如下所示*/CREATE DATABASE jdbc;USE jdbc;CREATE TABLE user
2021-04-25 20:53:16
177
原创 8.用户登录2.5版（提示用户名或密码输入错误）
index.jsp<%@ page contentType="text/html;charset=UTF-8" language="java" %><html lang="en"><head> <meta charset="UTF-8"> <title>杨瑞崎的作业</title></head><body><form action="/LoginServlet" method="POST
2021-04-01 21:30:07
263
原创 8.课程案例：用户登录2.0版
设计思路：1.一个HTML页面，用于用户输入信息，并点击登录传入servlet2.处理密码的servlet（功能有：）（1）拿到用户登录输入的信息（2）判断账号密码是否正确正确————成功界面创建SuccessServlet（由于未学jsp，所以用servlet代替）1.显示账号名，欢迎你2.登陆成功后，有一个退出登录的超链接，并且退出后清除数据3.如果未登录直接进入登录成功的servlet，提示您未登录并跳转到登录界面创建LoginServlet1.获取到用户提交的信息2.判断用
2021-03-25 20:31:30
240
原创 5.urlopen方法介绍
urlopen方法它传入了一个百度首页的URL,使用的协议是HTTP,这是urlopen()方法最简单的用法。urlopen() 方法可以接收多个参数,该方法的定义格式如下:urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None,capath=None, cadefault=False, context=None)上述方法定义中的参数详细介绍如下:( 1) url: 表示目标资源在网站中的位置，可以是一个表示URL地
2021-03-24 20:00:39
1978
原创 8.Session域（超链接的使用）
1、session是什么?会话技术,保存共享的会话数据至服务器端2.session和cookie的区别;cookie：服务器创建,保存在浏览器session:服务器创建,保存在服务器3.session原理：浏览器访问服务器，服务器创建session对象和ID属性， session对象存储在服务器，ID属性带回浏览器（用cookie带回去)，浏览器再次访问服务器，就带着ID过来，服务器选择相应的session对象进行“服务”session借助于cookie实现4、sessior的API获取
2021-03-24 11:13:53
672
原创 8.Cookie对象
1、Cookie是什么?浏览器请求服务器，服务器保存浏览器的相关信息，创建cookie存储这些信息，将cookie添加到response中，带回浏览器,浏览器将cookie保存在硬盘或者内存中，再次访问服务器,带着cookie过去。cookie谁创建-----服务器cookie谁保存----—浏览器//创建cookie对象 Cookie cookie=new Cookie("user","yrq");//因为获取是游览器request请求带到服务器上的，所以getCookie()方
2021-03-23 17:02:18
260
1
原创 7.toLowerCase转换小写及简单实现封IP代码
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { response.setContentType("text/html;charset=utf-8"); request.setCharacterEncoding("utf-8"); PrintWriter out=response.getWriter(
2021-03-22 15:35:27
140
原创 7.自动跳转（web作业：判断字符串相等，复选框存值）
一、HttpServletRequest用于封装Http请求消息1.请求重定向（两次请求，两次响应）2.请求定时跳转（refrsh定时刷新）请求定时跳转（refrsh定时刷新）response.setHeader("Refresh","2；URL=/");#2秒后刷新并跳转到/ response.setHeader("Refresh","3"); response.getWriter().println(new java.util.Date());#每三秒输出当前时间请求重定
2021-03-19 20:51:49
249
原创 6.HttpServletResponse响应
1.请求重定向（两次请求，两次响应）2.请求定时跳转（refrsh定时刷新）3.（请求转发，请求包含是啥来着）小知识：统一服务器浏览器编码response.setContentType("text/html;charset=utf-8");#从程序立场上字符输出流：PrintWriter out=response.getWriter();out.print(value);字节输出流：ServletOutputStream out=response.getOutputStrea
2021-03-19 20:13:49
741
原创 5.ServletConText接口(重点：2.ServletContext域共享数据)
1.获取web应用程序的初始化参数web.xml不仅可以配置Servlet的初始化信息，还可以配置整个web应用的初始化信息<context -param>放在<web -app>中，在 < servlet>上面(1)web.xml配置初始化参数信息和Servlet信息<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://xmlns.jcp.org/xml/ns/jav
2021-03-17 22:01:16
202
1
原创 5.ServletConfig接口
1.每个servlet都有一个对应的ServletConfig2.使用一个或多个<init -param>元素进行配置3.ServletConfig的作用：将servlet的配置信息封装4.ServletConfig对象属于每一个确定的servlet5.ServletConfig接口常用方法String getInitParameter(String name)根据初始化名返回初始化值Enumeration getInitParameterNames()返回En
2021-03-17 16:46:48
203
1
原创 4.Servlet的多重映射（增加虚拟路径）
确保web文件夹下有web.xml文件在src中新建一个package命名为servlet（已经创建就不需要了）新建servlet文件重点：只有在创建servlet时勾掉Create Java EE 6 annotated class，web.xml会自动生成文件路径<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:x
2021-03-16 21:29:38
367
原创 3.关于servlet的一些细节（生命周期）
一。如何创建servlet（1）实现servlet接口（2）继承GenericServlet类，GenericServlet类本身是Servlet接口的实现类，是一个抽象类（3）继承HttpServlet类，HttpServlet类继承GenericServlet类二。servlet生命周期（1）init:初始化—只执行一次（2）service：运行—执行多次（3）destroy:销毁—只执行一次创建一个servlet，修改public class Servlet1 extends Htt
2021-03-16 16:39:38
121
1
原创 1.初识爬虫
一.获取数据的方式：1.企业产生的数据2.数据平台购买的数据3.政府/机构公开的数据4.数据管理咨询公司的数据5.爬取的网络数据二、爬虫的概念网络爬虫又称网页蜘蛛网络机器人，是一种按照一定的规则、自动请求万维网网站并提取网络数据的程序或脚本。三、爬虫的用途...
2021-03-15 21:29:17
672
原创 1.创建javaweb文件及低版本idea创建servlet
Fire -->New -->project更改文件路径，重命名创建servlet更改name创建成功
2021-03-14 21:28:59
123
原创 3.hive安装（本地模式）一定要注意路径
这种安装方式和嵌入式的区别在于，不再使用内嵌的Derby作为元数据的存储介质，而是使用其他数据库比如MySQL来存储元数据。这种方式是一个多用户的模式，运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。这里有一个前提，每一个用户必须要有对MySQL/Mariadb的访问权利（用户名和密码）。下面开始正式搭建，这里要求hadoop系统已经正常启动，且MySQL/Mariadb数据库已经正确安装。1、首先登录MySQL/Mariadb，创建一个数据库，这里命名为hiv
2021-03-13 20:56:53
286
原创 5.sqoop安装及数据导出（sqoop待安装）
（1）主机上使用mysql创建数据库mysql -uroot -p创建数据库 create database sqoopdb;（2）创建表create table t_agvgpv_num(dateStr varchar(255) DEFAULT NULL,avgPvNum decimal(6,2) DEFAULT NULL)ENGINE=myisam default charset=utf8;(3)安装sqoop参考9.1sqoop安装（4）迁移数据sqoop export --
2021-03-05 15:51:04
115
原创 4.数据分析(明白命令的意思)
1.流量分析、、、基于weblog数据库、、、（1）创建表create table dw_pvs_everyday(pvs bigint,month string,day string);（2）插入数据insert into table dw_pvs_everyday select count(*) as pvs,owd.month as month,owd.day as day from ods_weblog_detail owd group by owd.month,owd.day;
2021-03-05 15:36:43
199
原创 3.实现数据仓库
1. 先登录hive数据库hive2.创建weblog数据库create database weblog;use weblog;2.1创建表create table ods_weblog_origin(valid string,remote_addr string,remote_user string,time_local string,request string,status string,body_bytes_sent string,http_referer string,h
2021-03-05 15:23:09
301
原创 wordcount实验
1.打开idea，Fire一个新project找到maven创建完成后pom.xml添加新内容<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.9.0</version>
2021-01-15 16:17:14
576
原创 VMware中linux系统的网络设置
有线设置1.NET模式NET对应【自动DHCP】2.桥接模式注意：桥接模式时要确保物理机IP和虚拟机IP要在同一网段cmd进入终端ipconfig 、all查看IP地址及dns等相关信息更改为手动应用后重新开启网卡...
2020-12-21 15:05:19
179
原创 2.Mariadb安装
1.安装:yum install -y mariadb-server2.启动maria DB服务:systemctl start mariadb.service(说明：CentOS 7.x开始，CentOS开始使用systemd服务来代替daemon，原来管理系统启动和管理系统服务的相关命令全部由systemctl命令来代替。)3.添加至开机自启动：systemctl enable mariadb.service4.初始化数据库配置mysql_secure_installati
2020-12-11 09:25:15
224
原创 1.hive安装（嵌入模式）
1.准备安装包（1）创建hive目录存放安装包（2）进入hive，使用rz上传jar包（3）tar -xvzf 解压2.启动hadoop集群两个slave节点分别执行rm -rf /hadoop/hadoopdata/在192.168.1.4主机执行格式化hdfs namenode -format在192.168.1.4主机执行启动start-all.sh3.统一jar包（1）删除Hadoop下的jar包cd KaTeX parse error: Expecte
2020-12-10 11:30:00
307
原创 1.zookeeper分布式集群的搭建
1.解压安装包创建文件夹存放安装包mkdir /zk进入创建的路径：cd /zk上传：rz解压：tar -xvzf zookeeper-3.4.14.tar.gz2.修改zookeeper配置文件进入配置文件目录：cd /zk/zookeeper-3.4.14/conf创建配置文件：cp zoo_sample.cfg zoo.cfg编辑配置文件：vi zoo.cfg中间找到dataDir修改#设置数据文件目录+数据持久化路径/data目录在创建
2020-12-10 10:30:19
155
原创 5.格式化master集群（&启动集群）
1）删除slave1、slave2节点历史数据两个节点分别执行 (删除hadoopdata)rm -rf /hadoop/hadoopdata/已配置集群 (这是我自己的文件路径)rm -rf /home/yrq/hadoopdata2）在192.168.1.4主机执行格式化hdfs namenode -format3）在192.168.1.4主机执行启动start-all.sh关闭stop-all.sh4）jps查看master进程,slave1和slave
2020-12-03 21:29:50
1373
原创 作业：定义一个circle类，求圆的面积
class Circle: def __init__(self): self.r=int(input("请输入半径：")) def get_perimeter(self): PI = 3.14 print("圆的周长：") print(2 * PI * self.r) def get_area(self): PI = 3.14 print("圆的面积") print(
2020-11-29 21:06:12
6009
原创 4.【hadoop集群搭建】(更改主机名)配置host列表,ssh免密登录
1、配置主从节点主机名称用master克隆两台虚拟机slave1，slave2。更改IPvi /etc/sysconfig/network-scripts/ifcfg-ens331）在192.168.1.4主机执行hostnamectl set-hostname master2）在192.168.1.6主机执行hostnamectl set-hostname slave13）在192.168.1.7主机执行hostnamectl set-hostname slave22、配
2020-11-27 17:36:47
1410
原创 作业：模拟银行管理系统
userclass User: """ 用户类 """ def __init__(self,name,id,phone,card): """ 构造方法 :param name:用户名 :param id: 身份证 :param phone: 电话 :param card: 银行卡（对象） """ self.name =name se
2020-11-18 16:25:03
798
原创 3.【hadoop集群搭建】配置Hadoop环境变量
1.进入/hadoop目录,执行rz命令cd /hadoop/rz #上传hadoop 安装包2.解压hadoop安装包tar -xvzf /hadoop/hadoop-2.6.0.tar.gz
2020-11-16 16:36:31
12127
2
原创 2.【hadoop集群搭建】安装JDK和hadoop （rz上传命令安装）
1.文件上传到虚拟机的准备（1）安装FTP，连接虚拟机IP，上传包（推荐）（2）rz命令，XShell或CRT执行下载命令安装rz,便于往分布式文件系统上传安装包。yum install -y lrzsz2.安装依赖包glibcyum install glibc.i6863.创建文件夹并进入mkdir /hadoopcd /hadoop4.上传JDK安装包rz或FTP连接虚拟机...
2020-11-16 14:04:08
3030
原创 1.【虚拟机】配置虚拟机网络及.net模式网络不通解决办法
1.启用网卡设置固定ipvi /etc/sysconfig/network-scripts/ifcfg-ens33Master:修改：BOOTPROTO=static添加：IPADDR=192.168.1.4NETMASK=255.255.255.0GATEWAY=192.168.1.1DNS1=114.114.114.114修改：ONBOOT=yes2.编辑完配置网卡配置文件后执行重启网卡命令：systemctl stop NetworkManagerservice
2020-11-15 22:39:57
1514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人