- 博客(63)
- 收藏
- 关注
RSS订阅原创 wordcloud的基本使用
实例官网：http://amueller.github.io/word_cloud/例子安装库文件import jieba #分词from matplotlib import pyplot as plt #绘图from wordcloud import WordCloud #词云from PIL import Image #图片处理import numpy as np #矩阵运算import sqlite3 #sqlite3数据库安装问题由于版本不兼容，需要安装相应版本的wordc
2021-02-23 12:57:47
912
原创 flask结合SQLAlchemy实现可视化
使用SQLAlchemy例子https://www.cnblogs.com/cwp-bg/p/8876012.htmlhttps://blog.csdn.net/weixin_39352048/article/details/80213171掌握sqlalchemy的连接方法，掌握连接后执行sql语句连接数据库，并创建对象，初始化数据库表from flask import Flask,render_templatefrom flask_sqlalchemy import SQLAlchemy
2021-02-23 12:56:52
482
原创 falsk的基本使用+例子
概述Flask作为Web框架，它的作用主要是为了开发Web应用程序。Flask本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证FlaskLogin），都需要用第三方的扩展来实现。比如可以用Flask-extension加入ORM、窗体验证工具，文件上传、身份验证等。Flask没有默认使用的数据库，你可以选择MySQL，也可以用NoSQL。其 WSGI 工具箱采用 Werkzeug（路由模块） ，模板引擎则使用 Jinja2在Flask程序中，路由的实现一般
2021-02-23 12:55:14
770
原创 hive的基本使用
安装hive的坑登录mysqlGRANT ALL ON *.* to '用户名'@'主机' IDENTIFIED BY ‘1’;https://blog.csdn.net/qi1840439776/article/details/81109508?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.
2021-02-23 09:38:17
106
原创 sqoop安装和应用
概述介绍Sqoop是Apache旗下一款**Hadoop和关系数据库服务器之间传送数据的工具。**主要用于在Hadoop(Hive)与传统的数据库(MySQL、Oracl、Postgres等)之间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。多数使用Hadoop技术处理大数据业务的企业，有大量的数据存储在关系型数据中。由于没有工具支持，Hadoop和关系型数据库之间的数据传输是很困难的事情。传统的应用程序管理系统，即应用程序
2021-02-23 09:24:12
411
原创 hive的安装+mysql
Hive的安装与配置Hive 官网地址 http://hive.apache.org/文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted下载地址 http://archive.apache.org/dist/hive/环境准备Hive组件需要基于Hadoop系统进行安装。因此，在安装Hive组件前，需要确保Hadoop系统能够正常运行。在master节点上实现Hive组件安装。Hive组件的部署规划
2021-02-23 08:58:58
376
原创 HIive的常见配置
Hive常见配置访问配置使用元数据服务的方式访问 Hive**1）**在 hive-site.xml 文件中添加如下配置信息 <!-- 指定存储元数据要连接的地址 --> <property> <name>hive.metastore.uris</name> <value>thrift://hadoop102:9083</value> </property> **2）
2021-02-23 08:25:33
242
原创 Hive的数据类型
Hive 的数据类型1. 基本数据类型对于Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。Hive 数据类型Java 数据类型长度例子TINYINTbyte1byte 有符号整数20SMALINTshort2byte 有符号整数20INTint4byte 有符号整数20BIGINTlong8byte 有符号整数
2021-02-23 08:24:46
874
原创 Flume概述
官网:http://flume.apache.org/百科:https://baike.baidu.com/item/flume/6250098?fr=aladdinFlume是Cloudera提供的一个高可用的，高可靠的，分布式的**海量日志采集、聚合和传输的系统。**Flume 基于流式架构，灵活简单。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。flume架构组件AgentAgent 是一个 J
2021-01-23 09:17:37
102
原创 hive基本概念
什么是hiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。百科：https://baike.baidu.com/item/hive/67986?fr=aladdinhive是基于Hadoop的一个**数据仓库工具**，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本
2021-01-20 10:52:43
281
1
原创 Zookeeper入门
概述百科：https://baike.baidu.com/item/zookeeper/4836397?fr=aladdinZookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目官网首页：https://zookeeper.apache.org/工作机制数据结构应用场景（了解）提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。统一命名服务统一配置管理统一集群管理服务器节点动态上下线
2021-01-18 20:58:39
118
原创 python连接mysql,并读取文件写入mysql
PyMysql的使用菜鸟教程:https://www.runoob.com/python3/python3-mysql.html(安装+介绍)# 导入pymysql模块import pymysql# 连接databaseconn = pymysql.connect(host=“你的数据库地址”,user =“用户名”, password =“密码”,database =“数据库名”,charset =“utf8”)# 得到一个可以执行SQL语句的光标对象cursor = conn.
2021-01-16 19:45:28
1804
原创 hadoop完全分布式搭建（基于Ubuntu18版本）
文章目录hadoop搭建（Ubuntu版本）虚拟机准备安装ssh为虚拟机设置静态IP创建一个用户（非必做）创建文件夹存放所需软件等4、把这个用户加管理权限5、改Hosts6、安装java和hadoop安装java安装hadoop编写分发脚本7.完全分布式搭建1.集群部署规划2.集群文件配置配置文件理解**1.配置**core-site.xml文件参数(核心)**2.配置**hdfs-site.xml文件参数**3.配置***mapred-site.xml文件参数**4.**配置****yarn-site.x
2021-01-09 16:39:49
1038
原创 搭建hadoop伪分布式+全分布式（基于Centos7）
环境准备安装一个centos7的虚拟机虚拟机配置硬盘50G 内存4G CPU 6*2 2*2/boot 200M/swap 2G/ 全部配置网络对于实验环境下Hadoop集群网络需考虑地址规划、连通性。由于实验环境下数据负载较小、可靠性要求不高，链路一般采用单链路连接。IP地址规划在同一网络中，一般设定地址为（192.168.1.0/24）网段。具体IP地址在Centos7中配置,确保可以联网并和主机ping通首先查看自己虚拟机网卡的网段,我们选择NAT模式连接改主机名设置服务器
2021-01-09 16:36:09
752
原创 四台华为云ECS上搭建hadoop
虚拟机准备修改主机名连接服务器后修改主机名hostnamectl set-hostname 主机名bash分发脚本 #1. scp（secure copy）安全拷贝（1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的
2021-01-09 16:19:01
1586
原创 Windows10系统安装
参考视频教程：https://www.bilibili.com/video/BV1DJ411D79ywindows10官网纯净下载安装准备：一个最小8G的U盘，一个可以上网的电脑，（windows10一般自己会更新驱动，不放心可以去自己电脑品牌官网下载管家或者驱动）1、官网镜像下载：https://www.microsoft.com/zh-cn/software-download/windows10下载后双击打开， 选择U盘或者ISO文件，第一个选项是升级电脑给自己电脑安才会用的。下载速度可
2020-08-21 14:56:01
2167
原创 JDK的安装和配置（详细）
JDK，JRE，JVM区别JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。JRE（Java Runtime Environment，简称JRE）是一个软件，由太阳微系统所研发，JRE可以让计算机系统运行Java应用程序（Java Application）。JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范
2020-08-21 14:53:20
314
原创 制作linux启动盘，安装双系统必备
下载镜像下载自己需要的镜像,日常用的话一般都使用deepin或Ubuntun,开发一般用centos或redhat.去对应官网下载即可,一般建议下载较稳定版本deepin官网:https://www.deepin.org/zh/Ubuntu官网:https://ubuntu.com/Centos官网:https://www.centos.org/也可以去清华大学镜像站下载https://mirrors.tuna.tsinghua.edu.cn/.因为快http://pan.yamada.vip
2020-08-21 12:00:26
306
原创 WSL，在Windows使用Linux（Ubuntu版）
来源：https://xie.infoq.cn/article/259825741f3a0c262ff96bea6简介WSL 是 Windows Subsystem for Linux 的缩写，意思是 linux 版的 window 子系统。微软官网 ：https://docs.microsoft.com/zh-cn/windows/wsl/about适用于Linux的Windows子系统使开发人员可以直接在未经修改的Windows上运行GNU / Linux环境-包括大多数命令行工具，实用程序和
2020-08-06 00:07:53
889
原创 划分子网的方法
此笔记是看视频后截图，加上理解，所写的，方便以后复习视频1、为什么要划分子网子网划分的意义简单理解就是分类地址不够用了，有一些局限性。分类地址太浪费IP地址的资源，不利于互联网的发展和扩大。对物理网络进行划分，减少网络流量，优化网络性能，简化管理，有助于覆盖大型地理区域.分类地址的缺点：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nw5rtlPr-1590054105790)(https://gitee.com/chenyutong/picture_bed
2020-05-21 17:49:32
20063
1
原创 HTML笔记
html基础1、基础1.1、html历史HTML5新特性工具editplus,vscode等等1.2、HTML基本语法元素属性doctypemeta1.3、必备元素的解释1.4、实体符号<!DOCTYPE html><html lang="en"><head> ...
2020-05-01 10:23:06
927
原创 centos网络重启失败解决
centos网络重启失败解决有时候会遇到莫名其妙的错误，准备在这里慢慢汇总，注意不一定做完就会有效，每个人遇到的情况都不同1：常规的文件没有配置在虚拟机网络设置里面选择的方式不对，具体问题具体对待，一般都是选net配置完以后，在重启网络。若还是不行，可以尝试重置网络。1、关机，进入虚拟机-编辑-虚拟网络编辑器2、更改设置-还原默认设置开机后在次：重启网络2：因为做过部分的修...
2020-03-30 12:40:18
2927
原创 Markdown语法简单实用
Markdown快速入门一种纯文本标记语言，有很多方便的标记之类的，可以记笔记，写博客（大多数网站都支持MarkDown）随便进入一个GitHub文件一般都会有一个markdown的文件特点:文件后缀名以.md结尾，如图：以下内容均是在Typro上写的准备直接在博客网站上书写：CSDN，知乎，简书，博客园等。下载工具如Typora,vscode，MarkdownPad2等。目前我...
2020-03-28 16:37:11
211
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人