花满楼2020-CSDN博客

原创 hadoop2.8.0+zookeeper-3.4.10搭建HA(高可用集群)

1.修改主机名[root@master /]# vi /etc/hostname#主机名master.hadoop[root@master ~]# hostname master.hadoop[root@master ~]# hostnamemaster.hadoop其余结点一样的操作[root@master ~]# cd /etc/hosts192.168.1.2 master.hadoop192.168.1.3 slave1.hadoop192.168.1.4 slav...

2020-06-02 16:06:39 409

转载 Spark+zookeeper搭建高可用集群

Master结点存在单点故障，所以要借助zookeeper，至少启动两台Master结点来实现高可用，配置方案比较简单先停止所有Spark服务，然后安装zookeeper，并启动zookeeper集群规划：一、先安装Spark集群（Spark2.2.0安装教程）二、安装zookeeper:(zookeeper安装教程)三、高可用配置在spark-env.sh上删掉SPARK_MASTER_IP配置项，并添加以下内容：export SPARK_DAEMON_JAVA_OPTS="-

2020-06-02 16:00:46 343

翻译 hive安装

牛头人博客园首页新随笔联系管理订阅随笔 - 122 文章 - 0 评论 - 2在Hadoop集群上的Hive配置1. 系统环境Oracle VM VirtualBoxUbuntu 16.04Hadoop 2.7.4Java 1.8.0_111hadoop集群master：192.168.19.128slave1：192.168.1...

2019-12-02 18:22:09 260

原创 Centos添加和删除用户及 xxx is not in the sudoers file.This incident will be reported.的解决方法

修改主机名：vim /etc/sysconfig/network1、添加用户，首先用adduser命令添加一个普通用户，命令如下：#adduser tommy//添加一个名为tommy的用户#passwd tommy //修改密码Changing password for user tommy.New UNIX password: //在这里输入新密码Re...

2019-08-07 18:36:02 347

原创 Cloudera-Manager6搭建CDH集群时hue数据库连接失败问题

通过查看$CM_HOME/log/cloudera-cm-server/cloudera-cm-server.log，发现hue数据库连接失败主要是由于缺少一个libmysqlclient.so.20这个库文件Traceback (most recent call last):File "/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p...

2019-08-07 15:30:47 793

原创 ttyd, 在网络上共享终端

今天调研的时候看到了ttyd工具，一个可以简单的通过浏览器共享命令行工具，只需要在命令行运行一个命令，就可以通过浏览器来直接访问终端了。下面就看看怎么使用吧。下载安装# 在Linux上直接下载的二进制文件，下载后改名为ttyd$ wget -c -O ttyd https://github.com/tsl0922/ttyd/releases/download/1.4.2/ttyd_lin...

2019-07-13 15:35:16 8690

原创 mysql【5.6】离线安装

-- 检查是否存在mysql库rpm -qa | grep mysql-- 卸载mysql库 rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64解压tar -xvf xx -C ?path安装 rpm -e --nodeps mariadb-libs-1:5.5.60-1.el7_5.x86_64rpm -ivh *.rpm问题...

2019-07-10 14:25:06 289

转载 CentOS7下使用YUM安装MySQL5.6

检查系统中是否已安装 MySQL。rpm -qa | grep mysql返回空值的话，就说明没有安装 MySQL 。注意：在新版本的CentOS7中，默认的数据库已更新为了Mariadb，而非 MySQL，所以执行 yum install mysql 命令只是更新Mariadb数据库，并不会安装 MySQL 。（2）查看已安装的 Mariadb 数据库版本。rpm -qa...

2019-07-05 12:09:55 117

翻译 CentOS7安装部署CDH6.1.0

B2-CentOS7安装部署CDH6.1.0技术标签：大数据centoscdhhadoopcloudera 下载相关安装包 Cloudera Manager 下载地址： https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-76988...

2019-06-14 19:25:19 1676

转载阿里飞天云平台架构简介

飞天是由阿里云开发的一个大规模分布式计算系统，其中包括飞天内核和飞天开放服务。飞天内核负责管理数据中心Linux集群的物理资源，控制分布式程序运行，隐藏下层故障恢复和数据冗余等细节，有效提供弹性计算和负载均衡。如图所示，飞天体系架构主要包含四大块：1、资源管理、安全、远程过程调用等构建分布式系统常用的底层服务;2、分布式文件系统;3、任务调度;4、集群部署和监控。飞天开放服务为用户应...

2019-06-03 10:58:20 6682

转载 mysql 密码强度规则设置

问题：mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;ERROR 1819 (HY000): Your password does not satisfy the current policy requiremen【原因】原来MySQL5.6.6版本...

2019-04-30 15:22:19 448

翻译 CENTOS7 下安装MYSQL5.7

第一步：下载rpm包sudo wget http://repo.mysql.com/yum/mysql-5.7-community/el/7/x86_64/mysql57-community-release-el7-10.noarch.rpmsudo rpm -ivh mysql57-community-release-el7-10.noarch.rpm第二步：yum 安装mysq...

2019-04-30 15:21:46 108

翻译智慧校园建设方案！高校统一数据中心解决方案

1.项目背景随着办学规模的扩大，高校对信息化建设的要求越来越高，各种管理系统先后建成并投入使用。在工作效率提高的同时，问题也逐渐显现：由于受系统使用或开发时间、经费、目的等限制，各部门之间的业务系统处于相互独立的状态，彼此之间不能实现数据交换，从而导致部门间形成“信息孤岛”，造成数据无法有效共享、应用缺乏有效集成以及冗余数据无法处理的现象，同时，高校信息化过程当中由于缺少行之有效的顶层设计，以及...

2019-04-15 13:55:52 14423

转载晋升为项目经理并持续拥有竞争力的方式是什么？

项目经理职位在一流的互联网公司至少需要奋斗三年以上，如何缩短这个非常漫长和艰苦奋斗的过程，我建议从以下几个方面做起。一是需要责任心和主动性，不仅要按时完成项目经理交付的开发任务，最好是经常帮助小伙伴突破技术难题最好的是建议是：一定要为成为技术专家而不懈努力，千万别奔波在做一些事务性的工作而忽略技术本身，我们软件工程师的最核心竞争力就是拥有全面的核心技术，并具备快速解决技术难题的能力。二是要有很强的...

2018-08-31 10:10:54 392

2018年互联网医疗模式创新案例分析：某互联网医院

2016年2月16日，“浙一互联网医院”正式启动。标志着浙江大学医学院附属第一医院在推进数字化医疗基础上，对“互联网+医疗”的探索实践进入新阶段，为广大患者提供更加便捷的医疗服务，打造全国首个公立三甲线上院区。“浙一互联网医院”是一所“线上院区”，患者通过手机，IPAD，个人电脑，无论身处何处，只要手指点点，可以与专家名医“面对面”远程门诊，预约检查等，患者也可以坐等药物送到家里。以往要去医院排队...

2018-08-31 09:40:00 4055

花满楼的博客