大数据学习
文章平均质量分 69
bigdata 知识点总结
.G( );
这个作者很懒,什么都没留下…
展开
-
爬虫初接触
爬虫初接触前言一、爬虫是什么?二、前期知识储备1.发送请求2.获取响应内容3.解析内容4.保存数据三、爬虫知识requests库requests库的2个主要方法实例网络爬虫的“盗亦有道”——Robots协议网页结构实例四、Scrapy总结前言本人刚开始学习爬虫,里面的代码大都是从老师给的ppt所截,如有问题请多多指正。代码都属基础代码,相对简单,适合纯入门…一、爬虫是什么?随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战,网络爬虫应运而生。 网络爬虫原创 2020-10-24 00:14:27 · 746 阅读 · 0 评论 -
Hbase简单应用
系统:Ubuntu 18.04HBase版本:2.2.2HBase简单应用前言代码+截图前言实现Hbase的操作代码+截图创建表:create '表名','列名1','列名2','列名3'...插入数据:put '表名','列1','列1信息','列2','列2信息'查某一条数据:get '表名','列1信息'查表数据:scan '表名'HBase没有特定的更改,可以用put写好相关信息进行更改。重新输出表信息...原创 2021-01-10 02:58:11 · 177 阅读 · 0 评论 -
Flink入门学习
Flink入门Flink是什么:一、背景:二、为什么要用Flink三、应用场景四、原理:(这里也进行数据处理架构演变的总结)最开始:事务处理 联机事务处理OLTP将数据从业务数据库复制到数据仓库,再进行分析和查询有状态的流式处理更新:第二代流式处理 lambda架构五、Flink架构:六、Flink分布式运行:七、Flink主要特点:1.事件驱动:2.基于流的世界观3.分层API4.Flink其他特点:八、Flink基石:Flink强一致性原理——Chandy-Lamport算法Flink是什么:原创 2020-11-20 18:15:58 · 356 阅读 · 0 评论 -
Spark 安装 Ubtuntu 18.04 Spark版本:3.0.0
Spark 安装前言一、下载、安装、配置二、运行Spark总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。一、下载、安装、配置环境:Ubtuntu 18.04Spark版本:3.0.0Spark 官网:http://spark.apache.org/downloads.html1.下载对应版本的安装包(我Spark版本是3.0.0,已不是最新版本)2.执行:将压缩原创 2020-11-20 18:19:39 · 341 阅读 · 0 评论 -
Hbase 出现:/usr/local/hadoop/libexec/hadoop-functions.sh: 行 2360: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.
项目场景:环境:Ubuntu 20.04.1问题描述:验证Hbase是否安装成功时爆出一大堆信息:/usr/local/hadoop/libexec/hadoop-functions.sh: 行 2360: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_USER:无效的变量名/usr/local/hadoop/libexec/hadoop-functions.sh: 行 2455: HADOOP_ORG.APACHE.HADOOP.HBA原创 2020-11-20 18:19:07 · 11348 阅读 · 30 评论 -
HBase安装与配置 Ubuntu-64位 HBase版本:hbase-2.2.2
HBase 安装前言一、HBase下载1. HBase2.2.2下载2.解压安装包3. HBase配置3.1单机模式配置3.2伪分布式模式配置1.配置/usr/local/hbase/conf/hbase-env.sh2.配置/usr/local/hbase/conf/hbase-site.xml3.测试运行HBase。4.停止HBase总结前言 HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化数据的分布式存储系统》。HBase以表的形式存储数原创 2020-11-20 18:18:25 · 1991 阅读 · 1 评论 -
ERROR: JAVA_HOME /usr/lib/jvm/default-java does not exist. 运行Hadoop出现
项目场景:环境:Ubuntu 20.04.1问题描述:更新Ubtuntu版本由18.04至20.04.1发现Hadoop无法启动了。原因分析:从ERROR: JAVA HOME 可能是Java环境的问题解决方案:首先确认系统Java环境是否正常Java环境正常其次确认Hadoop中的/usr/local/hadoop/etc/hadoop/hadoop-env.sh 文件中Java环境变量是否与系统中的Java环境变量相同按E,进入编辑模式果然与问题所致的路径相同,问题所原创 2020-11-20 18:17:54 · 22344 阅读 · 15 评论 -
Hadoop安装 Ubuntu 18.04 64位 Hadoop版本:Hadoop3.1.3
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档hadoop安装系列文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,原创 2020-11-20 18:17:30 · 2178 阅读 · 0 评论