- 博客(36)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 去哪儿旅游网站采集程序的设计与实现
相关课程与技术：《数据采集与网络爬虫技术》、requests、BeautifulSoup、pymongo等等。这是我一年前的项目了，今天决定总结出来分享给大家！一起学习啊。目录一、项目的目的与意义二、采集目标确定三、去哪儿旅游网站分析四、数据采集流程与步骤说明五、数据采集实现过程(1)进入搜索广州门票首页核心代码展示：（2）景点详细页面信息获取核心代码展示：（3）景点评论评分页面信息获取核心代码设计展示：六、数据采集结果说明七、项目总...
2022-04-30 16:34:44
2171
4
原创 【Spark实训】--竞赛网站访问日志分析
竞赛网站访问日志分析；1、过滤出访问次数在 50 次以上的用户记录 2、统计访问 50 次以上的用户主要访问的前 5 类网页 3. 合并部分网页 4.根据访问时间加入对应时段
2022-04-17 16:29:10
6894
1
原创 Spark Streaming : 实时计算框架 ㈠
一、流式计算处理模式：1. spark streaming介绍；2. 数据流程；3. 计算思想；Spark Streaming 数据抽象 DStream二、案例实现：案例1：连接到node2 8888端口，接收实时数据做分析。设置日志级别；从SparkConf创建StreamingContext并指定5s的批处理大小；启动连接到node2 8888端口上，使用收到的数据创建DStream；启动流计算环境StreamingContext。
2022-05-22 18:35:45
1805
原创 【JavaScript实训】-- 限时秒杀
限时秒杀：1、设置秒杀结束时间2、声明变量保存剩余的时间3、设置定时器，实现限时秒杀效果4、获取时间差，单位秒5、判断秒杀是否过期6、取消定时器7、将剩余的天、小时、分钟和秒显示到指定的网页中
2022-05-22 16:07:44
7348
原创 【Spark实训】-- Spark SQL结构化数据文件处理 ②
题目：统计分析航空公司客户数据的空值以及异常值。1.统计观测窗口的票价收入（SUM_YR_1）、观测窗口的总飞行公里数（SEG_KM_SUM）和平均折扣率（AVG_DISCOUNT）三个字段的空值记录，并将结果保存到名为null_count的表中。2. 统计air_data_table表中观测窗口的SUM_YR_1（票价收入）、SEG_KM_SUM（总飞行公里数）和AVG_DISCOUNT（平均折扣率）三列的最小值min_count表中。
2022-05-19 14:16:55
1640
原创 【Spark实训】-- Spark SQL结构化数据文件处理①
（1）统计非重复的用户个数（2）统计用户听过的歌曲总数（3）找出ID为“1000002”的用户最喜欢的10首歌（即播放次数最多的10首歌曲）
2022-04-21 21:14:21
5436
原创 【NoSQL数据库技术与应用】-- MongoDB数据库操作
目录一、利用文件启动mongodb：二、windows的cmd连接mongodb：三、使用python操作mongodb：1、连接数据库2、查看数据库3、查看集合4、删除集合5、查看文档6、插入（增加）文档7、更改文档8、删除文档一、利用文件启动mongodb：1.进入mongodb文件cd /opt/servers/mongodb_demo/mongodb2.创建一个新文件夹mkdir conf3.进入文件夹cd conf4.编辑这个文件..
2022-04-10 21:42:55
2340
原创 【bug解决】Python运行显示报错--没有为项目配置Python解释器
设置解析器，Python运行显示报错没有为项目配置Python解释器No Python interpreter configured for the project
2022-04-10 18:12:42
11517
原创 【中断循环】-- break和continue语句
作用：都是用来控制循环结构的，主要是停止循环。目录break语句:continue语句:continue语句和break语句的区别是：扩展资料：break语句: 可以用在循环语句和switch语句中。在循环语句中用来结束内部循环；在switch语句中用来跳出switch语句,其作用是终止当前语句的执行,选择结构或循环语句，执行后面的代码。continue语句: 用于结束本次循环的执行，开始下一轮循环的执行操作。continue关键字用于立即跳出本次...
2022-04-10 17:23:27
3109
原创 [bug解决] IDEA spark编译出现error：object Apache is not a member of package org
error：object Apache is not a member of package org
2022-04-05 14:59:20
7826
1
原创 网站开发基础知识
一、认识网页二、网站设计的基本概念1、基本概念2、网站3、静态网页和动态网页3.1、静态网页3.2、动态网页三、互联网的访问过程与工作机制1、访问过程浏览器与服务器WWW与万维网IP地址和域名URL和HTTP协议2、工作机制四、制作网站的标准和常用技术五、常用的开发工具
2022-03-30 16:28:20
1563
原创 【JavaScript实训】-- 编写一个带两个变量和一个运算符的四则运算函数
html+JavaScript实现编写一个带两个变量和一个运算符的四则运算函数
2022-03-27 22:00:00
4019
原创 【JavaScript实训】调试程序--根据时间问好
一、题目要求：（1）、当输入当前时间值为6~12时，页面显示“上午好！欢迎来到一只傻猪猪的博客”，输入几点显示几个图标。如图1-1所示：（2）、当输入当前时间值为13~20时，页面显示“中午好！欢迎来到一只傻猪猪的博客”，输入几点显示几个图标。如图1-2所示：（3）、当输入其他时间值时，页面显示“夜深了，该休息啦！”，输入几点显示几个图标。
2022-03-26 15:39:13
1917
原创 PHP实现简单计算器
目录一、题目：二、基本界面设计代码：三、分析：四、实现编程三个步骤五、完整实现代码一、题目： 题目描述：下列列表框中有+、-、*、/四种运算符，选择不同的运算符进行，单击计算按钮进行不同的计算。二、基本界面设计代码：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>简单计算器</...
2022-03-25 12:27:10
12077
1
原创 spark实训题 -- Scala基础编程【1】
目录实训目的实训1：编写函数过滤文本中的回文单词1. 训练要点2.需求说明3.思路及步骤实训2：使用Scala编程输出杨辉三角1. 训练要点2.需求说明3.思路及步骤实训3：用Scala编程求出100~999之间的所有水仙花数。实训目的( 1)掌握Scala的REPL使用。(2)掌握Scala的Array、List、Map等创建与使用。(3)掌握Scala循环与判断的使用。( 4)掌握Scala函数式编程。实训1：编写函数过滤文本中的回文单..
2022-03-24 02:30:00
9106
1
原创 【Spark编程】-- 统计文本中性别为“男”的用户数
题目：统计文本中性别为“男”的用户数。1.训练要点(1)创建RDD的方法。(2) map转换方法。(3 ) filter的用法。(4) count的用法。2.需求说明 文档test.txt需要自己下载，一个用户 的信息存储为一行数据，现在要求过滤出其中性别为“男”的用户，并且统计有多少行符合要求。3.实现思路及步骤：全部代码展示：hdfs dfs -put test.txt /user/rootval testdata=sc.textFile("h...
2022-03-22 10:50:22
5009
原创 samba的安装配置
1、共享目录/samba/b1，任何人只读访问；2、共享目录/samba/b2，仅用户bys和组gd成员可以访问，仅bys有可写的权限；3、共享目录/samba/b3，任何人可以读写，但不同的用户只能访问创建的文件夹
2022-03-21 03:00:00
598
原创 进阶版--Mongodb命令汇总
目录一、基本命令：二、常用命令：1、基本查询：2、按照条件查询3、按特定类型查询4、统计查询5、分页查询6、聚合管道操作7、分组8、索引9、设置权限用户的步骤--简单10、设置权限用户的步骤--复杂一、基本命令：查看当前数据库：db 创建并进入数据库：use jxx 查看所有数据库：show dbs（空库不显示） 删除当前数据库，需要先进入当前数据库：db.dropDatabase() 创建集合（集合与表的区别：集合无序、不可重...
2022-03-20 16:47:57
1303
原创 Mongodb的使用说明 -- 适合初学者篇【1】
什么是Mongodb？Mongodb数据类型、Mongodb的使用规范，数据库使用规范、集合使用规、文档使用规范， Mongodb的安装部署MongoDB 部署，下载与安装Mongodb的启动与使用
2022-03-20 15:03:15
4197
原创 解决报错显示：【客户端：IPC客户端（1783083399）到主机的连接/192.168.73.130:8088从根目录：已停止，剩余连接0】
22/03/18 11:34:00 DEBUG ipc.Client: IPC Client (1783083399) connection to master/192.168.73.130:8088 from root: stopped, remaining connections 0java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol me
2022-03-19 02:00:00
3027
1
原创 Linux--网络服务器配置步骤详情【2】
六、配置安装DNS服务器七、Web服务器1、Apache服务器的安装与测试2、个人网站的配置安装3、配置基于端口号的虚拟主机4、配置基于域名的虚拟主机
2022-03-18 20:00:00
369
原创 解决报错显示：log4j:WARN No appenders could be found for logger .
log4j:WARN No appenders could be found for logger (org.apache.http.client.protocol.RequestAddCookies). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
2022-03-18 16:04:03
26097
1
原创 cmd启动mongo显示控件[main]全局初始化失败：FileNotOpen:无法打开“D:\mongodb\data\logs\mongo.log”
cmd启动mongo报错2022-03-14T08:45:33.174+0800 F CONTROL [main] Failed global initialization: FileNotOpen: Failed to open "D:\mongodb\data\logs\mongo.log"
2022-03-15 09:48:04
4182
2
原创 Linux--网络服务器配置步骤详情【1】
一、配置ip地址二、配置yum服务器三、配置安装nfs服务器四、安装配置samba服务器五、安装配置DHCP
2022-03-14 06:00:00
2094
原创 Linux -- NFS的安装与配置
一、题目：共享/nfs/media, 使172.16.42.0/24下的所有人只读，root用户映射为匿名用户。 共享/nfs/doc，使j2.fangtuan.com这台主机可以读写，其它用户只读，且root映射为匿名用户。 共享/nfs/soft，所有人只读访问，访问者（包括root）映射成用户nfsuser,组nfsuser NFS测试画面目录一、题目：二、准备阶段：yum安装，配置yum修改如下内容：安装三、题目解析：四、配置：五、NFS测试画面...
2022-03-13 15:50:29
1842
原创 spark 在本地模式提交spark-submit报错Name node is in safe mode
问题描述运行过程中报错显示：原因分析：根据报错显示，可以发现报错内容显示的是：名称节点处于安全模式。安全模式下不可以实现增删改操作。 当块的数量低于阀值，datanode启动数量不够都会进入安全模式。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。解决方案：hadoop为了防止数据丢失，启动了“安全模式”的设置，我们只需要关闭安全模式即可。...
2022-03-11 11:13:18
1949
原创 visual Studio Code编写出现PHP文件乱码
1、查看当前编码类型若不是则改为utf-82、在代码中加入如下代码<?phpheader("content-type:text/html;charset=utf-8"); //设置编码格式?>测试如下：3、若是与HTML文件一起写的则在<head> 代码段 </head>内加入：<meta charset="UTF-8">...
2022-03-08 15:30:04
1186
jc_content_viewlog.txt
2022-04-17
LINUX期末考试试卷.doc
2022-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人