自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(176)
  • 资源 (1)
  • 问答 (1)
  • 收藏
  • 关注

原创 Python Flask教程学习03

主要写了Flask的两个扩展Flask 邮件(Flask-Mail)Flask Mysql及Flask SQLAlchemy

2022-10-28 23:38:19 298

原创 Python Flask教程学习02

Flask是一个轻量级的可定制框架,使用Python语言编写,较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很好地结合MVC模式进行开发,开发人员分工合作,小型团队在短时间内就可以完成功能丰富的中小型网站或Web服务的实现。另外,Flask还有很强的定制性,用户可以根据自己的需求来添加相应的功能,在保持核心功能简单的同时实现功能的丰富与扩展,其强大的插件库可以让用户实现个性化的网站定制,开发出功能强大的网站。

2022-10-27 18:52:07 213

原创 Python Flask教程学习01

Flask是一个轻量级的可定制框架,使用Python语言编写,较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很好地结合MVC模式进行开发,开发人员分工合作,小型团队在短时间内就可以完成功能丰富的中小型网站或Web服务的实现。另外,Flask还有很强的定制性,用户可以根据自己的需求来添加相应的功能,在保持核心功能简单的同时实现功能的丰富与扩展,其强大的插件库可以让用户实现个性化的网站定制,开发出功能强大的网站。

2022-10-24 23:55:37 392 2

原创 Hive调优(待完善)

Hive调优

2022-10-02 15:39:14 32

原创 Numpy+Pandas+Matplotlib学习

参考的教程是哔哩哔哩孙兴华UP主的视频,边学边做

2022-09-18 17:24:46 791 2

原创 HBase学习02(HBase API)

环境准备DDL判断表是否存在创建表删除表创建命名空间DML插入数据单条数据查询扫描数据删除数据

2022-06-25 13:38:10 266

原创 HBase学习01(HBase入门及HBase Shell简单操作)

hbase入门启动关闭hbase shell操作namespace的操作表的操作

2022-06-24 15:25:16 154

原创 Scala学习(集合02)

元组队列并行常用方法常用方法衍生集合计算函数功能函数案例实现 - WordCount TopN

2022-06-23 18:37:55 65

原创 Scala学习(集合01)

数组不可变数组可变数组可变数组和不可变数组转换Seq集合不可变List可变List可变集合和不可变集合转换Set集合不可变Set可变SetMap集合不可变Map可变Map

2022-06-23 14:17:38 37

原创 Scala学习(函数式编程、面向对象编程)

函数式编程基础函数编程函数定义函数参数函数至简原则高阶函数编程面向对象编程基础面向对象编程高阶面向对象编程

2022-06-17 11:08:24 35

原创 在Windows10配置Hadoop的关键步骤,添加winutils文件,不然会报各种错误

在Github里搜Hadooo对应版本的winutils,搜索关键词就是(hadoop-版本 winutils)然后下载下来压缩包解压后,第一,将winutils.exe和hadoop.dll复制到hadoop的\bin目录下第二,将hadoop.dll复制到C:\Windows\System32两个步骤都要做,不然报错然后重启Idea啥的,之后写代码就可以运行Hadoop或Spark代码里保存文件到Windows的代码片段,之前是会报错的。我之前就是只将winutils.exe和hadoop

2022-06-16 01:04:17 822

原创 Scala学习(变量和数据类型、流程控制)

主要介绍了scala的变量和数据类型还有流程控制

2022-06-10 11:43:14 46

原创 第2章——R的数据组织

R的数据对象R对象的类型划分从存储角度划分R对象从数据组织结构角度划分R对象创建和管理R对象R数据组织的基本方式R向量及其创建与访问最简单的R向量利用R向量组织变量访问R向量中的元素R的特殊向量:因子R矩阵和数组及其创建与访问R数据框及其创建与访问R列表及其创建与访问R数据组织的其他问题R对象数据的保存通过键盘读入数据共享R自带的数据包大数据案例的数据结构和R组织读文本文件数据到R数据框...

2022-06-07 16:59:26 336

原创 Hive函数(系统内置函数,自定义函数)

系统内置函数常用内置函数自定义函数

2022-05-27 11:31:27 133

原创 Spark Streaming实时计算框架学习01

初探Spark Streaming掌握DStream编程模型DStream转换操作DStream窗口操作DStream输出操作使用foreachPartition,将处理结果写到MySQL数据库中

2022-05-26 23:17:56 148

原创 Hadoop3.x完全分布式运行模式配置

Hadoop3.x完全分布式运行模式配置

2022-05-15 10:43:36 127

原创 pyspark3.0.0+spark3.0.0学习01(RDD的创建,RDD算子(常用Transformation算子 常用Action算子 分区操作算子)的学习及应用)

pyspark3.0.0+spark3.0.0学习01(RDD的创建,RDD算子的学习及应用)常用Transformation算子 常用Action算子 分区操作算子

2022-05-06 17:34:01 565

原创 zookeeper学习03(定义,工作机制,功能,数据结构,应用场景,选举机制)

介绍了zookeeper的定义,工作机制,功能,数据结构,应用场景,选举机制

2022-04-30 18:57:44 2068

原创 Git学习01-提交代码,查看日志,回退,穿梭,撤销、Github仓库代码的删除和拉取等

本文主要介绍了Git向Github提交代码,Git查看日志\回退\穿梭\撤销和Github仓库代码的删除和拉取等等相关操作。

2022-04-28 17:19:57 368

原创 Hive学习04-查询 分组 join 排序

基本查询 where语句 比较运算符 Like和RLike 逻辑运算符 分组 Group By语句 Having语句 join

2022-04-25 19:12:39 1520 1

原创 Hive常用函数(日期函数,取整函数,字符串操作函数,集合操作函数)

Hive的常用函数

2022-04-25 16:34:16 254

原创 R语言概述和包

熟悉Rstudio的界面及菜单功能;掌握R的简单操作;利用Rstudio进行一些简单的数学运算

2022-04-23 20:14:25 787

原创 Hadoop1和Hadoop2和Hadoop3之间的差异

本文将从多个方面详细探讨Hadoop1和Hadoop2和Hadoop3之间的差异,借鉴了某些外国技术博客

2022-04-19 20:49:43 1770

原创 zookeeper学习02-Java API操作

初始化ZooKeeper客户端 获取子节点列表,不监听 获取子节点列表,并监听 创建子节点 判断Znode是否存在 获取子节点存储的数据,不监听 获取子节点存储的数据,并监听 设置节点的值 删除空节点 删除非空节点,递归实现

2022-04-18 19:17:06 1612

原创 zookeeper学习01

Zookeeper从设计模式角度来理解,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生了变化,Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应.Zookeeper = 文件系统 + 通知机制

2022-04-18 10:35:07 29

原创 Hive编程指南学习03

新建数据表employees向表中装载数据引用集合类型中的元素引用数组(选择数组subordinates的第2个元素)引用MAP元素引用struct元素新建数据表stocks装载数据DML数据操作数据导入loadinsert数据导出Insert导出1)将查询的结果导出到本地2)将查询的结果格式化导出到本地3)将查询的结果导出到HDFS上(没有local)Hadoop命令导出到本地Hive Shell 命令导出Export导出到HDFS上Import数据到指定Hive表

2022-04-17 13:22:23 971

原创 Hive编程指南学习02

介绍了Hive常用的基本数据类型int,bigint,double,string;hive的集合类型(ARRAY,MAP,STRUCT)及数据的插入和导入,还有数据类型之间的转换。

2022-04-13 21:10:14 48

原创 SQL基础语句练习

SQL查询基础题

2022-04-11 14:35:00 748

原创 MySQL数据备份与恢复

创建数据库数据表数据的备份和恢复使用mysqldump命令备份数据备份单个数据库或表备份多个数据库备份所有数据库使用mysql命令恢复数据表数据的导出与导入使用select...into outfile语句导出表数据使用mysqldump命令导出表数据使用load data infile语句导入表数据使用mysqlimport命令导入表数据使用二进制日志文件恢复数据查看二进制日志的开启状态查看二进制日志使用二进制日志恢复数据库

2022-04-10 23:18:55 1055

原创 MySQL的安全设置

用户管理创建用户登录修改用户密码修改用户名删除用户权限管理授予权限授予MySQL字段级别权限授予MySQL表级别权限授予MySQL存储程序级别权限授予MySQL数据库级别权限授予MySQL服务器管理员级别权限撤销权限撤销指定权限撤销所有权限查看权限角色管理创建角色授予角色权限授予用户角色查看角色是否分配正确撤销用户角色删除角色

2022-04-09 17:14:46 756

原创 MySQL数据库编程02

程序控制流语句语句块、注释和重置命令结束标记语句块注释单行注释多行注释重置命令结束标记存储函数存储函数的创建调用存储函数删除存储函数条件判断语句程序中变量的使用声明变量为变量赋值IF语句CASE语句循环语句LOOP循环WHILE循环REPEAT循环存储过程创建存储过程调用存储过程存储过程的参数IN参数OUT参数INOUT参数删除存储过程游标游标的定义和使用异常处理

2022-04-09 14:58:02 412

原创 头歌Python数据框、序列定义及数据处理应用实验闯关

头歌Python数据框、序列定义及数据处理应用实验闯关

2022-04-06 12:12:10 9181 5

原创 MySQL数据库编程01

MySQL编程基础 常量与变量 常量 字符串常量 数值常量 日期和时间常量 布尔值常量 NULL值 变量 局部变量 全局变量 常用系统函数 字符串函数 计算字符串字符数和长度合并字符串 字符串大小写转换 删除空格 取子串 数学函数 日期和时间函数 获取当前系统的日期及取日期的年月日 获取当前系统的日期时间 系统信息函数 条件控制函数IF CASE 数据类型转换函数

2022-04-03 22:44:36 1011

原创 关系数据库标准语言SQL02

文章主要介绍了:数据的维护 插入数据 INSERT语句 利用子查询向表中插入数据 更新数据 UPDATE语句 利用子查询修改记录 删除数据 DELETE语句 利用子查询删除行 索引与视图 索引的创建与删除 创建索引 查看索引 删除索引 使用索引时应注意的问题 视图 为什么建立视图 创建视图 修改视图 删除视图 使用视图进行DML操作

2022-04-02 20:26:01 699 1

原创 关系数据库标准语言SQL01

结构化查询语言(Structured Query Language)简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。结构化查询语言是高级的非过程化编程语言,允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套,这使它具有极大的灵活性和强大的功能。

2022-04-01 23:20:10 534 2

原创 Hive编程指南学习01

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

2022-03-30 12:40:03 2391

原创 Spark SQL:结构化数据文件处理02

掌握DataFrame基础操作DataFrame查询操作DataFrame输出操作

2022-03-25 22:20:51 1673 4

原创 Spark SQL:结构化数据文件处理01

Spark SQL结构化数据文件处理

2022-03-24 21:45:15 1715

原创 Spark编程进阶学习

环境准备:配置的时候确实很麻烦…win10java 1.8.0_152Hadoop 2.7.3Scala 2.10.6Spark 1.6.0IntelliJ IDEA 2016.3.4文章目录运行Spark程序在开发环境下运行Spark在集群环境中运行Spark在IDEA中打包工程(输出JAR)编译生成Artifact运行Spark程序在开发环境下运行Sparkimport org.apache.spark.{SparkConf,SparkContext}object WorldC

2022-03-23 22:32:13 1268

原创 Spark基础编程学习03

文章目录将汇总后的学生成绩存储为文本文件JSON文件的读取与存储JSON文件读取JSON文件存储CSV文件的读取与存储CSV文件的读取CSV文件的存储SequenceFile的读取与存储SequenceFile的存储SequenceFile文件的读取文本文件的读取与存储文本文件的读取文本文件的存储任务实现将汇总后的学生成绩存储为文本文件Spark支持的一些常见文件格式文本文件,JSON,CSV,SequenceFile,对象文件JSON文件的读取与存储JSON文件读取sudo gedit te

2022-03-21 15:01:44 660

Hadoop项目案例:电影网站用户性别预测源代码

你们得在自己电脑上做修改才能不报错,至于怎么修改,我也不知道。或许是该ip地址,或许该版本信息......

2022-03-09

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除