huangchunqq的博客

原创 hive中SQL排序两种方法（order，sort）

1.order by 对查询结果进行全局排序，所有数据通过reducer进行数据处理，数据量少使用效果更好，数据量庞大使用sort by。2.sort by 只会在每个reducer中对数据进行排序，执行局部排序。

原创 Nginx负载均衡（fair）、内存监控（debug_pool）、后端服务器健康检查（check_status）模块安装和配置

Nginx 开启status用以监控状态信息Nginx 可以通过with-http_stub_status_module模块来监控nginx的一些状态信息。

原创 ubutun安装python虚拟环境

ubutun中安装python虚拟环境的坑，总结了一些错误，以及正确的安装方式。本文基于Ubuntun20.04和python3.7版本安装python虚拟环境，其他版本步骤其他相近版本步骤类似。

原创 RPM文件安装时最后加上 --nodeps --force参数

Linux rpm 命令用于管理套件。rpm（英文全拼：redhat package manager） 原本是 Red Hat Linux 发行版专门用来管理 Linux 各项套件的程序，由于它遵循 GPL 规则且功能强大方便，因而广受欢迎。逐渐受到其他发行版的采用。RPM 套件管理方式的出现，让 Linux 易于安装，升级，间接提升了 Linux 的适用度。如发现有下安装错误：方法一在安装命令后面加上 --force --nodeps，进行强制安装。1.–nodeps就是安装时不检查依赖关系，比如你

原创 tensorflow安装

tensorflow相对于的python版本离线安装下载地(cp38-cp38是python3.8对于版本)：https://pypi.tuna.tsinghua.edu.cn/simple/tensorflow/下载之后cmd窗口进去下载离线包的安装目录，pip install tensorflowtable键补全，即可安装模块...

原创 centos7各节点免密登陆

centos7各节点免密登陆1.在各节点上删除原有的.ssh目录，然后重新生成密钥对2.在各节点的.ssh目录下将公钥复制到node节点3.查看node节点上的authorized_keys文件4.将node结点上的authorized_keys文件远程拷贝到node1,node25.验证免密登录，注意看提示符中主机名的变化...

原创 centos时间同步

centos时间同步采用NTP服务通过获取网络时间使集群内不同主机的时间保持一致。这里选取阿里云的时间服务器aliyun.com。1.安装NTP服务yum install ntp#2.手动同步时间ntpdate -u ntp1.aliyun.com3.查看时间date...

原创 CentOS7安装Redis安装设置开机自启

CentOS7安装Redis设置开机自启一、安装1.1、安装gcc依赖redis由C语言开发所以我们安装之前要安装一下gcc环境命令：yum install -y gcc1.2、下载redis1.官网下载，官网下载地址：https://redis.io/download2.命令下载wget https://download.redis.io/releases/redis-6.2.5.tar.gz1.3、解压redistar -zxvf redis-6.2.5.tar.gz我们选择安

原创 Mysql以msi方式安装时，出现starting the server的解决办法

Mysql以msi方式安装时，出现starting the server的解决办法1.1.先不要关闭安装窗口，win+R打开运行窗口，并输入services.msc2.找到mysql服务，右键属性，选择登录，选择登陆身份为本地系统账户3.再次打开安装窗口，点击Execute进行安装就可以了，一直下一步安装完成关闭，配置环境变量就可以正常登录mysql...

原创 Hadoop完全分布式环境部署

Hadoop完全分布式环境部署1、使用软件及其版本环境虚拟机:VirtualBox 6.0.24 r139119Linux:CentOS 7Windows:Windows10软件JDK:Jdk1.8_131Hadoop:Hadoop-2.6.0-cdh5.7.0工具IDE工具:IntelliJ IDEA 2018.3.6 (Ultimate Edition)远程连接工具:XShell6SFTP工具:FileZilla3.33.02、目标hadoop完全分布式环境部署

原创 Zookeeper完全分布式环境部署

1、背景知识ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现分布式应用程序可以基于ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、配置维护，名字服务、分布式同步、分布式锁和分布式队列等功能。2、使用软件及其版本 环境 虚拟机:VirtualBox 6.0.24 r139119 Linux:CentOS 7 Windows:Windows

原创 centos7配置阿里云镜像

1.首先确保自己虚拟能够连网测试一下：ping www.baidu.com2.备份原始镜像：mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup3.安装wget:yum -y install wget4.下载新的 CentOS-Base.repo 到 /etc/yum.repos.d/：wget -O /etc/yum.repos.d/CentOS-Base.repo https

原创 hive初始化化元数据失败，不能启动hive

问题：安装hive配置相关文件初始化元数据失败：schematool -dbType mysql -initSchema解决方案：1.仔细检查相关配置文件是否按照要求2.是否创建hive数据库用来保存hive元数据​​​​​​​ 3.为了能够快速安装hive,授权使 (操作系统用户)用户可以操作数据库hive中的所有表，使用命令​​​​​​​...

原创 python学习相关软件

python学习软件

原创 快速配置虚拟实现虚拟上网

原创 Linux/centos7安装mysql

linux\centos7中安装mysql

原创 centos7镜像

centos7镜像文件

原创 javaswing各类管理系统

javaswing各种管理系统

原创 大数据开发面试题必备20题

2021年超全超详细的最新大数据开发面试题，附答案解析

原创 Javaweb+servlet+jdbc+jsp可视化

1.在IDEA中建立一个项目参照咱们清洗玩保存在mysql中的数据，new一个实体类Doubanc,代码如下public class Doubanc {private String country;private String nums;private int id;private String name;private String director;private String date;private Str...

原创 【无标题】数仓实战之亚马逊全球跨境电商分析平台

一、Sqoop框架--1. 验证sqoopcd /export/server/sqoop-1.4.7bin/sqoop list-databases \--connect jdbc:mysql://node1:3306/ \--username root --password 123456二、拉链表-Demo-- 1、MySQL创建商品表-- 创建数据库CREATE DATABASE demo; -- 创建商品表create table if not exists demo....

原创 HA Hadoop完全分布式环境部署

HA Hadoop完全分布式环境部署1、背景知识HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。Hadoop 2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组Journal..