大数据
文章平均质量分 57
嗯୧⍤⃝
这个作者很懒,什么都没留下…
展开
-
大数据上手项目(第五天)hadoop-ha(高可用)配置
什么是hadooop,什么是hadoop-ha(高可用)hadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spark共存,hadoop与spark都能部署在yarn、mesos的资源管理系统之上2原创 2022-01-11 22:16:47 · 774 阅读 · 0 评论 -
大数据上手项目(第四天)创建新用户并安装配置zookeeper
我原创 2021-11-24 22:23:38 · 1572 阅读 · 0 评论 -
大数据上手项目(第三天)jdk的配置和时钟同步服务
1、关闭防火墙,selinux在安装jdk之前先关掉防火墙,以及SELINUXsystemctl stop firewalld.service #直接关闭防火墙systemctl disable firewalld.service #禁止开机自启动打开selinux的conf目录vi /etc/selinux注释掉下面两行并添加#SELINUX=enforcingSELINUX=disabled#SELINUXTYPE=targeted完成后需要重启2、jdk安装在根目录下新原创 2021-11-23 22:19:06 · 1083 阅读 · 0 评论 -
大数据上手项目(第二天)静态ip的配置以及修改主机名
在成功登录虚拟机后,应该设置静态ip,这样方便后面的配置这里就是手把手教学vi /etc/sysconfig/network-scripts/ifcfg-ens33需要注意的是:BOOTPROTO=dhcp需要改成static,dhcp是自动获取ip地址,static是静态ip地址ONBOOT=no改成yes,启动网络服务添加IPADDR=你的ip,GATEWAY=网关地址,NETMASK=255.255.255.0,DNS1=8.8.8.8大部分人都卡在了网关地址上点击右上角编辑原创 2021-11-21 21:54:55 · 2042 阅读 · 0 评论 -
大数据上手项目(第一天)linux操作系统的搭建
边学边练,我们会完整的做一个大数据项目来练手项目准备:VMware虚拟机,linux操作系统,hadoop架构,python等第一天,先要搭建好虚拟机为什么我们要使用linux呢?主要是因为linux是开源的,且目前企业中也在大量使用linux做服务器,这对以后的工作会很有帮助1.下载虚拟机软件在百度输入vmware下载就可以了https://customerconnect.vmware.com/cn/downloads/#all_products这里我们选择VMware Workstati原创 2021-11-20 22:22:25 · 1327 阅读 · 0 评论 -
python爬虫实操|爬取nba中国官网球员数据
本次我们将爬取Ajax动态加载数据并进行简单数据分析,其主要方式是找到数据的json包,将其保存到本地目录,进行数据分析提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、业务分析二、步骤1.找到数据2.抓取数据3.分析数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、业务分析目标网站:N原创 2021-11-17 12:35:51 · 8330 阅读 · 18 评论