- 博客(32)
- 收藏
- 关注
RSS订阅原创 基于MongoDB的电影影评分析
每个阶段都执行一个操作，如过滤、投影、分组、排序和重新整形文档等，最终的输出会被传递给下一个阶段。综上，对于Top10的电影，除了评分、观看数等指标，评论分歧率直观体现了影视的影响力，这意味着观众可以选择这个分歧率较小的电影作为参考，达到更好的观看体验，同时对于同行，能更放心地借鉴其中的一些高深的拍摄手法、剧情演绎方法等。这里展示了三部电影的评论词云，而且是在21年1月份以后的评论，在MongoDB的强大支持下，检索某个日期里的文档数据十分遍历，通过这样的方式，我们能感受到电影从去年到现在的影响力。
2024-06-30 08:08:12
781
原创 Windows10环境下MongoDB安装配置
2）以管理员方式打开cmd（在文件夹C:\Windows\System32下找到cmd.exe，右键以管理员方式打开）如果每次启动MongoDB都要如此就非常麻烦，所以我们接下来在系统中添加MongoDB服务。注：一定要以管理员方式打开cmd，日志文件mongodb.log不要事先创建。注：在执行命令之前必须在data文件夹下新建db文件夹，否则命令不生效。选择你需要的版本，推荐选择Package的格式为zip（解压即可）2）在解压后的文件中添加两个文件夹。3）打开服务选项，右键启动。
2024-02-28 20:33:57
508
原创 大数据开发项目--音乐排行榜
环境：windows10，centos7.9，hadoop3.2、hbase2.5.3和zookeeper3.8完全分布式；
2024-02-25 18:06:57
659
1
原创 基于容器和集群技术的数据自动化采集设计和实现
目标：部署mysql服务容器并使用docker构建包含python爬虫脚本的容器采集数据到mysql数据库。
2024-02-25 17:50:00
1436
原创 IDEA使用HDFS的JavaApi
注释@Before的作用是在后续每次测试方法之前先执行此方法，进行资源初始化。@Before// 用于初始化HDFS配置，执行打开资源的操作System.out.println("打开资源初始化完成！");// 如果是无参构造函数，那么将加载默认的配置文件//获取FileSystem实例//对于文件的操作都会在 hdfs://user/root/ 文件夹下进行1）关于Configuration。
2023-12-29 17:40:33
806
原创 Java web应用的容器化发布
可以看到，mysql和tomcat都被部署到slave2上，所以在浏览器输入slave2的。为查看default命名空间里的pods信息，若想查看指定的命名空间需要使用参数。在文件中设置端口转发项，将容器的8080端口转发到本地的30000端口。3）创建关联的Service定义文件，并执行create命令。命令进行创建，并查看创建的Service。为自己创建的mysql服务的。
2023-12-16 15:26:07
659
原创 Pod控制器
这些节点重启时，都需要挂载原来的数据卷。Conditions：NewReplicaSet: nginx-deployment-6f6986d7b6 (1/1 replicas created)，副本集中只创建了一个，因为出现了错误，所以只创建了一个副本，且这个副本不可用。当集群中某个服务需要升级时，一般情况下需要先停止与此服务相关的Pod，然后下载新版的镜像和创建Pod，这种先停止再升级的方式在大规模集群中会导致服务较长时间不可用，而Keburnets提供滚动升级功能，以解决此问题。
2023-12-14 11:28:53
1277
原创 big data tools连接hdfs报错Exception during driver request: java.lang.IllegalArgumentException:java.net.U
IDEA连接hdfs时报错：Exception during driver request: java.lang.IllegalArgumentException:java.net.UnknownHostException: hadoop00按以下步骤进行排查：1）确认配置了hadoop环境2）确认虚拟机开启了hdfs守护进程3）检查在windows中是否配置了主机映射4）big data tools的bug
2023-12-09 12:12:30
987
原创 Hadoop3.x完全分布式环境搭建Zookeeper和Hbase
基于hadoop3.x完全分布式环境下部署zookeeper和Hbase注意事项：在启动Hbase之前要在所有集群节点上启动zookeeper 否则Hbase会报错（日志），无法使用。
2023-12-07 21:41:40
1239
原创 Kubernetes（k8s）访问不了Pod服务
在网上找了很久的答案，最后还是没解决，后来突然想起来一直是在k8s的主节点上访问的服务，有可能服务被默认部署到从节点上了，随后使用命令查看了服务的部署情况。在k8s集群部署java web应用的服务时，浏览器访问不了pod服务或linux终端。果然😅😥😓😥😣，部署到从节点上了，然后访问从节点的端口。
2023-12-05 20:58:54
870
原创 Kubernetes(k8s)报错error: deployment “nginx-deployment“ exceeded its progress deadline
执行命令报错：error: deployment "nginx-deployment" exceeded its progress deadline报错原因：Pod升级超过了最大的时间限制，变成了超时状态，Pod升级失败
2023-12-04 21:17:40
2854
原创 JAVA中的集合
为什么有了数组，还需要集合，因为数组的功能单一，长度不可变，而有些集合实现类则是对数组操作的封装。Vector也是可动态变化的数组，不同的是，Vector类的所有方法都是同步的。通过反复调用next方法，可以逐个访问集合中的所有元素，但如果到达了集合的末尾，next方法将抛出一个NoSuchElementException。ArrayList是数组列表，它是用数组存储元素的，这个数组可以动态创建，如果元素个数超过了数组的容量，那么就创建一个更大的新数组，并将当前数组中的元素都复制到新数组中。
2023-12-01 08:06:28
1388
1
原创 无分类编址 CIDR
在域名系统出现之后的第一个十年里，基于分类网络进行地址分配和路由IP数据包的设计就已明显显得可扩充性不足（参见RFC 1517）。为了解决这个问题，互联网工程工作小组在1993年发布了一新系列的标准——RFC 1518和RFC 1519——以定义新的分配IP地址块和路由IPv4数据包的方法。一个IP地址包含两部分：标识网络的前缀和紧接着的在这个网络内的主机地址。在之前的分类网络中，IP地址的分配把IP地址的32位按每8位为一段分开。这使得前缀必须为8，16或者24位。
2023-11-29 08:06:47
1573
1
原创 Docker容器网络模式
总结：host网络模式没有命名空间隔离，相当于docker容器与宿主机公用一个网络，使用宿主机的网卡、IP和端口信息（这点可以在主机浏览器上访问192.168.138.140:80看出），无需使用端口映射，此时容器不再拥有隔离的独立的网络栈。总结：none网络模式即容器拥有自己的网络命名空间，但不为容器做任何网络配置，如没有其他的网络配置，该容器将完全独立于网络，用户可以根据需要为容器添加网卡。1）创建一个容器，命名为test2，此容器的网络模式默认为bridge，然后查看容器IP信息。
2023-11-28 15:24:52
1098
原创 Java比较器
Java中的对象，正常情况下，只能进行比较：== 或!不能使用 > 或 < ，但是在开发场景中，我们需要对多个对象进行排序，言外之意，就需要比较对象的大小。如何实现？使用两个接口中的任何一个：Comparable 或 Comparator。
2023-11-27 17:01:31
910
原创 Docker监控Weave Scope的安装和使用
1）如果weavescope容器在运行，需要将其关闭。可以看到，weavescope目前已经监控了两台主机。可以看到，weavescope目前已经监控了两台主机。需要事先准备两台安装了WeaveScope的服务器。2）从本地上传文件。3）浏览器器访问weavescope。4）执行scope.bin。
2023-11-26 13:31:20
994
1
原创 CentOS7搭建Kubernetes集群
环境准备：Centos7（2核、master内存3GB、slave内存2GB）搭建概述：先将一台虚拟机搭建为master、随后克隆出两台虚拟机作为从节点。
2023-11-25 14:17:52
1848
4
原创 Python爬虫基础之 Scrapy
CrawlSpider可以定义规则，再解析html内容的时候，可以根据链接规则提取出指定的链接，然后再向这些链接发 送请求所以，如果有需要跟进链接的需求，意思就是爬取了网页之后，需要提取链接再次爬取，使用CrawlSpider是非常合适的。注意：一般情况下不需要添加http协议，因为start urls的值是根据allowed domains修改的，所以添加了http的话，那么start urls就多了个http，还需要我们去手动删除。比如下载路径、下载的url和文件的校验码等。
2023-11-20 11:25:02
895
1
原创 Python爬虫基础之 Requests
在使用python爬虫时，需要模拟发起网络请求，主要用到的就是requests库和python内置的urllib库，requests是对Urllib的再次封装。 原因是pycharm对控制台输出内容的大小做了限制，可以在帮助中的“编辑自定义属性”中追加数据修改，具体操作可到网上寻找教程。requests可以直接构建常用的get和post请求并发起，而Urllib一般要先构建get或者post请求，然后再发起请求。 原因是爬取的源码未格式化，可以存储到文件中进行格式化，使内容排版符合格式。
2023-11-19 17:48:11
701
1
原创 Python爬虫基础之 Selenium
Selenium是一个浏览器自动化测试框架，是一款用于Web应用程序测试的工具。框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时，浏览器自动按照脚本代码做出点击，输入，打开，验证等操作，就像真实用户所做的一样，从终端用户的角度测试应用程序。使浏览器兼容性测试自动化成为可能，尽管在不同的浏览器上依然有细微的差别。使用简单，可使用Java，Python等多种语言编写用例脚本。
2023-11-18 11:00:44
739
1
原创 Python爬虫基础之 解析
BS4全称是Beatiful Soup，它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为tiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。
2023-11-17 08:11:59
837
1
原创 Python爬虫基础之 Urllib
爬虫：网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本，其本质是模拟浏览器打开网页，获取网页中我们想要的数据。常用的百度、谷歌的搜索引擎也是一个爬虫，把互联网中的数据搜集组合起来便于用户检索。注：爬虫并不是Python独有的，可以做爬虫的语言有很多例如：PHP, JAVA, C#, C++, Python，选择Python做爬虫是因为Python相对来说比较简单，而且功能比较齐全。
2023-11-16 08:36:10
2591
1
原创 CentOS7 Hadoop3.X完全分布式环境搭建
环境：windows10、centos7.9、hadoop3.1.0、jdk1.8-8u162。
2023-11-15 09:12:09
300
1
原创 电脑连接耳机设备，不能单独调节耳机音量，只能使用扬声器统一调节
有些电脑在连接耳机设备时只能使用扬声器调节耳机音量，不能耳机和扬声器分开调节。但因为扬声器外放和使用耳机时听感不同，故每次拔插耳机都要再调节音量，这样做很麻烦。所以下面我们介绍如何使耳机输出设备分开调节音量。
2023-11-14 20:43:07
1023
1
原创 TCP/IP体系结构模型在市场化过程中成功了，而OSI模型在市场化过程中失败了的深层次原因
在20世纪60年代，在美国国防高级研究计划局(DARPA)的支持下，启动了一个项目，将美国几家研究中心和大学的计算机连接起来。到20世纪60年代末，这导致了广域网络ARPANET的创建，该网络基于一种称为接口消息处理器(IMP)的交换机(即小型“连接计算机”)。ARPANET被证明是后来成为互联网的最早的先驱。通信协议，网络控制系统的开发是在1969年开始的。在接下来的几年里，NCP逐渐得到扩展和改进。1975年，主要由科学家和工程师使用的ARPANET本身已经包含了100多个节点。
2023-11-13 17:49:17
995
原创 CentOS7 Hadoop3.X伪分布式环境搭建
搭建环境：windows10、VMware16.2.3、centOS7.9、jdk-8u162-linux-x64.tar.gz、hadoop3.1.0Hadoop各个版本链接jdk8下载链接。
2023-11-12 11:37:12
169
1
原创 Hadoop完全分布式环境中，运行jar包报错：Permission denied: user=hadoop100, access=WRITE, inode=“/“:root
没有权限在HDFS文件系统下创建文件夹。（1）简单且粗暴（不推荐）
2023-11-09 21:18:01
262
原创 Hadoop完全分布式环境运行MapReduce jar包报错：exitCode 127
执行wordcountjar包报错：exitCode 127
2023-11-09 21:03:31
862
1
原创 完全分布式环境Hadoop中HDFS重新格式化
2）hdfs-site.xml中dfs.name.dir、dfs.data.dir所指定的目录删除，即删除hdfs-site.xml中配置的存储信息路径。1）core-site.xml中将hadoop.tmp.dir所指定的目录删除，即删除Hadoop的临时文件路径。若是完全分布式环境的Hadoop需要在所有的虚拟机中删除以上指定目录下的文件夹。3）然后执行格式化命令：hadoop namenode -format。
2023-11-09 21:00:42
457
1
软考中级-《数据库系统工程师》15-21年真题、考试说明
2024-06-25
爬虫基础教程笔记.rar
2023-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人