- 博客(14)
- 收藏
- 关注
RSS订阅原创 CentOS安装MongoDb
MongoDB简介MongoDB是一个开源、高性能、无模式的文档型数据库，当初的设计就是用于简化开发和方便扩展，是NoSQL数据库产品中的一种。是最 像关系型数据库（MySQL）的非关系型数据库。 它支持的数据结构非常松散，是一种类似于 JSON 的 格式叫BSON，所以它既可以存储比较复杂的数据类型，又相当的灵活。 MongoDB中的记录是一个文档，它是一个由字段和值对（field:value）组成的数据结构。MongoDB文档类似于JSON对象，即一个文档认 为就是一个对象。字段的数据类型是字符型，它
2021-10-06 14:42:40
848
原创 Docker安装笔记
操作系统:CentOS7安装Docker#yum 包更新到最新yum update#安装依赖包yum install -y yum-utils device-mapper-persistent-data lvm2#设置yum源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo#安装dockeryum install -y docker-ce#查看docker版本,.
2021-10-03 18:12:57
113
原创 无法下载钉钉群内回放视频?
无法下载钉钉群内回放视频?工具:Fiddler安装Fiddler :下载链接解压安装即可第一次打开Fiddler做以下设置一路YES往下即可设置过滤器设置完成之后利用Fiddler抓取url地址设置完成之后打开钉钉点开回放视频 Filder会出现一个链接在Fiddler的窗口中，寻找 url为 /hive_hp/ 开头、 内容类型为 application/ 开头的数据。然后用这个地址去下载 发现悲剧了
2021-07-05 12:49:14
4034
4
原创 Sqoop和Hive整合
注:JDBC最好都加引号Sqoop是一个Hadoop和关系型数据库的整合工具。能将MySQL、Oracle、SqlServer等数据库中的数据导入HDFS中，同样也能将HDFS中的数据导入MySQL、Oracle、SqlServer等中#mermaid-svg-aaUz2y69sl14abwY .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#
2021-04-14 18:10:20
224
原创 Spark安装部署
文章目录Spark是啥？Spark有啥特点?Spark的安装解压配置环境变量配置三台节点Spark配置远程拷贝到从节点启动spark-shell简单操作Spark版本: 1.4.5Hadoop版本:2.7.6Spark 提取码：1111Spark是啥？Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架Spark，拥有Hadoop MapReduce的优点；但是不同于MapReduc
2021-04-08 10:43:17
107
1
原创 从Hive搭建及使用开始，到删库跑路?
文章目录Hive简介1.Hive安装1.解压安装配置环境变量2.配置文件3.使用初始化元数据**启动元数据服务****启动**2.hive的简单使用3.hive数据加载方式1.直接拷贝到hdfs中的表的对应目录2.使用命令导入数据3.装载方式4.insert into方式装载4.Hive表属性修改Hive简介Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive不适合用于联机(online)事
2021-04-05 20:42:26
268
原创 CentOS7的MySQL安装和Sqoop部署
Hadoop版本: 2.7.6CentOS版本: 7.6.1810集群: 3台Mysql版本: 5.7.18Mysql驱动JAR包: mysql-connector-java-5.1.28-bin.jarSqoop版本: 1.4.7文章目录1.MySQL1.解压安装2.Msyql3.MySQL设置远程登录MySQL END2.Sqoop安装1.解压2.修改环境变量3.重命名并修改配置文件4.**测试sqoop是否能和MySQL联通..
2021-04-03 15:15:58
393
原创 Hadoop HA集群部署(详细版)
Hadoop版本: 2.7.6CentOS版本: 7.6.1810集群: 3台百度网盘: 提取码：1111Hadoop HA说明HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。HDFS自动故障转移HDFS的自动故障转移主要由Zookeeper（Zookeeper很重要啊）和ZKFC两个组件组成。Zookeeper..
2021-04-03 11:43:43
2736
2
原创 CentOS7安装JDK和Zookeeper集群配置
CentOS版本:7.6.1810 3台JDK版本:1.8.0_191Zookeeper版本:3.4.10安装包链接：https://pan.baidu.com/s/1j73pSB8YS4NUl0fBCy5Htw提取码：1111注意:注意看命令前面的节点机上传文件到CentOS解压JDK到指定路径[root@master /]# tar zxvf /home/package/jdk-8u191-linux-x64.tar.gz -C /usr/local/src/.
2021-04-02 23:08:22
1675
4
原创 爬取天气信息通过邮箱定时发送
爬取天气信息通过邮箱定时发送准备事项:演示网址:http://www.weather.com.cn/weather1d/101281905.shtml运行库版本beautifulsoup=4 4.9.3requests= 2.25.1schedule =1.0.0准备好需要的库pip install xxx需要用到的库import requestsimport smtplibimport scheduleimport timefro
2021-03-23 17:43:00
1888
原创 爬取天气信息通过邮箱定时发送
爬取天气信息通过邮箱定时发送准备事项:演示网址:http://www.weather.com.cn/weather1d/101281905.shtml工具: PyCharm 2019.3.5准备好需要的库pip install xxx需要用到的库import requestsimport smtplibimport scheduleimport timefrom bs4 import BeautifulSoupfrom email.mime.text import MIME
2021-03-23 15:19:30
1799
6
原创 配置域名访问Tomcat项目
Tomcat配置域名访问网站配置Tomcat访问端口的安全组服务器Tomcat域名配置利用远程工具连接服务器进入到Tomcat的安装目录在进入到conf目录找到server.xml修改EnginedefaultHost=‘你的域名’修改host<Host name="你的域名" appBase="webapps" unpackWARs="true" autoDeploy="true">最后加一行(这
2021-03-22 16:13:12
192
4
原创 不通过Anaconda使用jupyter notebook
注:可升级pip再下载 也可以不升级1.打开cmd 输入以下命令通过国内镜像下载(速度比较快 因为下载的东西比较多 使用all是把所有相关模块都下载了)pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "ipython[all]"2. 尝试运行 ipython (通过exit退出)3.运行jupyter(两条命令)jupyter notebook ipython notebook...
2021-03-08 08:28:09
2759
3
原创 Java字符串二维数组排序
利用冒泡排序对字符串二维数组进行排序package lan;public class array { public static void main(String[] args) { String arr[][]= {{"青年节","5.4"}, {"教师节","9.10"}, {"女生节","3.9"}, {"妇女节","3.8"}, ...
2021-03-04 20:50:17
826
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人