小丽

原创 yum update和yum upgrade的真正区别

yum是红帽的包管理器，通过他可以从仓库检索、提取、安装和卸载包，让系统管理人员交互和自动化地管理rpm软件包，还可以将整个系统更新到当前最新的版本。其实，yum最大的优势，就是当更新、安装、卸载包的时候，会自动处理包之间的依赖关系，一次安装所有以来的软件包，但是，如果使用rpm安装，则需要自行安装这个包所有的依赖包，一次次下载、安装。通过check-update选项，可以了解系统中哪些已安装的包当前有更新再说一点yum和rpm的区别，就是无论使用yum install还是yum install都会安装

原创 GCC源码编译 gcc-8.2.0

GCC源码编译 gcc-8.2.0gcc源码下载ftp://gcc.gnu.org/pub/gcc/releases/[yhwang@yhwang ~] wget ftp://gcc.gnu.org/pub/gcc/releases/gcc-8.2.0/gcc-8.2.0.tar.gz[yhwang@yhwang ~] tar zxvf gcc-8.2.0.tar.gz下载你所需要的GCC版本。下载gcc依赖库源码gmp ftp://gcc.gnu.org/pub/gcc/infras

原创 Postgresql

##Postgresql数据库的优势1、目前功能最强大的开源数据库2、稳定可靠3、开源省钱4、支持广泛5、Postgresql社区活跃##pg跟mysql对比，mysql有以下缺点1、功能不够强大2、性能优化工具和度量信息不足3、在线操作功能较弱--安装所需要的系统软件包yum groupinstall -y "Development tools"yum install -y bison flex readline-devel zlib-devel--编译，size参数只能编译时.

原创 centos7 编译安装gcc-5.4.0

一、安装开发必备环境：yum groupinstall "Development Tools"yum install glibc-static libstdc++-static二、编译安装gcc-5.4.0你可以到官网下载gcc，也可以直接在这里下载：http://ftp.tsukuba.wide.ad.jp/software/gcc/releases/下载好后进行编译安装：tar -xvf gcc-5.4.0.tar.bz2cd gcc-5.4.0./contrib/downl.

原创 supermap-iserver-9.1.2a-linux64-deploy 在linux中安装部署

安装iServer解压：tar -zxvf supermap-iserver-9.1.2a-linux64-deploy.tar.gz -C /data1/进入目录重命名： mv supermap-iserver-9.1.2a-linux64-deploy/ SupermapiServer9d依赖库安装&检查：[root@localhost support]# pwd/data1/SupermapiServer9d/support[root@localhost support]# ls.

原创 2020-11-04

1. LDLIBRARYPATH shouldn't contain the current directorychecking LD_LIBRARY_PATH variable... contains current directoryconfigure: error:*** LD_LIBRARY_PATH shouldn't contain the current directory when*** building glibc. Please change the environment va

原创 CentOS7 Xshell 连接提示 Could not connect to ‘192.168.61.11‘ (port 22): Connection failed.

Connecting to 192.168.61.11:22...Could not connect to '192.168.61.11' (port 22): Connection failed.Type `help' to learn how to use Xshell prompt.处理方法：关闭防火墙、重启ssh服务等 都不行。需要 还原默认设置 ，关闭虚拟机中的系统，在虚拟网络编辑器中VMnet8 还原默认值设置...

转载 linux sed -i 命令

Linux sed命令是利用script来处理文本文件。（一）、选项参数sed -i function-i ：直接修改读取的文件内容，而不是输出到终端。动作说明： [n1[,n2]]functionn1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』function：a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～c ：取代， c 的后面可以接字串，这些字串

原创 Cent0S7的优化

一.关闭selinux查看[root@hadoop10 ~]# getenforceDisabled[root@hadoop10 ~]# /usr/sbin/sestatus -vSELinux status: disabled临时关闭##设置SELinux 成为permissive模式##setenforce 1 设置SELinux 成为enforcing模式setenforce 0强制关闭sed -i 's/=enforcing/=disabled/

转载 CentOS7 对防火墙常用操作

FirewallD是RHEL/CentOS 7+的一个防火墙服务的守护进程，对应系统的firewalld.service。其与iproute2软件包的iptables/ip6tables的关系如下，实质上都是通过iptables模块配置内核的netfilter模块： 一：centos7版本对防火墙进行加强,不再使用原来的iptables,启用firewalld1.firewalld的基本使用启动： systemctl start firewalld查状态：systemctl status fire

原创 firewall命令行详解

Firewall的端口开发与关闭命令：1、使用：netstat -anp 查看所有开发端口2、查询firewalld状态: service firewalld status 或者 systemctl status firewalld可能出现以下问题：[root@hadoop10 ~]# systemctl status firewalld● firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr

原创 百学须先立志

（《礼记》） 不登高山，不知天之高也，不精不诚，不能动人，内正其心，外正其容。（汉乐府《长歌行》） 百学须先立志，汉朝经学家 6.伪欺不可长.欺人只能一时，而诚实却是长久之策。（苏轼） 从善如登，从恶如崩。（苏轼） 当断不断，反受其乱。（汉书） 当局者迷，旁观者清。（刘勰） 东边日出西边雨，道是无晴却有晴。（杜甫） 读书之法，在循序而渐进，熟读而精思。（国语） 非学无以广才，非志无以成学。（杜甫） 凡事豫（预）则立，不豫（预）则废。（《战国策》） 富贵不能*，贫*不能移，威武不能屈。（《

原创 CentOS7.5 Active: failed (Result: timeout) Failed to start firewalld - dynamic firewall daemon.

[root@hadoop10 ~]# systemctl status firewalld● firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled) Active: failed (Result: timeout) since 日 2020-10-11 0...

原创 CentOs7关闭防火墙的命令

一、下面是red hat/CentOs7关闭防火墙的命令!1:查看防火状态systemctl status firewalldservice iptables status2:暂时关闭防火墙systemctl stop firewalldservice iptables stop3:永久关闭防火墙systemctl disable firewalldchkconfig iptables off4:重启防火墙systemctl enable firewalldservice ipt

原创 Linux 常用命令

Linux 常用命令nohup和&区别（如何后台运行程序）nohup nohup 命令运行由 Command参数和任何相关的 Arg参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （ 表示“and”的符号）到命令的尾部。 nohup 是 no hang up 的缩写，就是不挂断的意思。 nohup命令：如果你正在运行一个进程，而且你觉得在...

原创 Linux 常用命令

Linux 常用命令1.nohup和&区别（如何后台运行程序）nohup       nohup 命令运行由 Command参数和任何相关的 Arg参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （ 表示“and”的符号）到命令的尾部。nohup 是 no hang up 的缩写，就是不挂断的意思。nohup命令：如果你正在运行一个进程，而且你觉得在

原创 CentOS6.5下卸载MySql（yum安装）

CentOS6.5下卸载MySql（yum安装）关闭mysql服务 ： service mysqld stop查看是否安装mysqlrpm -qa|grep mysql -i因为我是用yum安装的mysql,所以卸载相对简单yum -y remove mysql*再把相关的文件删掉，rm -f /etc/my.cnf.rpmsaverm -rf /var/lib...

原创 spark 提交jar包到集群运行报异常 java.net.UnknownHostException: mycluster

1.报错信息：root@mode1 bin]# ./spark-shell --master spark://mode1:70772019-06-28 15:50:43 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classe...

转载 Matei Zaharia(Spark系统作者)博士论文-1 引言

由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：并行编程问题；为了将应用并行化，需要并行编程模型的支撑。容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。结果就是出现了很多编程模型，首先是MapR...

原创 一幅画中的贝叶斯

转：https://blog.csdn.net/u010833547/article/details/75731406

转载 贝叶斯在生活中

在生活中，我们无时无刻不面临着选择：1，一条街上哪个饭馆最靠谱?2，在自习室惊鸿一瞥的女神有没有男朋友?3，老公的公文包里发现一只口红，他有没有出轨?4，新开发的App应该等做得尽善尽美再发布，还是应该尽早发布，用互联网的力量帮助它完善?5，我应该选择哪个工作offer或者还是考公务员才能使自己的收益最大化?那么我们如何才能做出正确得选择和判断呢？单纯凭借经验，往往会出错...

原创 简易电影TOP10分析系统

package com.bj.scalacodeimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionobject RDD_Movie_Users_Analyzer6 { def main(args: Array[String]): Unit = { //1.配置SparkConf...

原创 我终于看懂了这一段好爽

val movieAndRating = ratings.map(x=>(x._2,(x._3.toDouble,1))).reduceByKey((x,y)=>(x._1+y._1,x._2+y._2)) movieAndRating.take(10).foreach(println)//(2329,(2705.0,640))//获取某电影的总评分和点评人数 ...

原创 Spark 中 map 与 flatMap 的区别

package com.bj.scalacodeimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession/** * Spark 中 map 与 flatMap 的区别 * 总结： * * - Spark 中 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象； ...

转载 Spark-reduce和reduceByKey

Spark-reduce和reduceByKeyhttps://www.wandouip.com/t5i97590/1.reducereduce(binary_function)reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。val c = ...

原创 获取平均评分最高的10部电影

package com.bj.scalacodeimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession/** * 平均评分最高的10部电影 */object RDD_Movie_Users_Analyzer2 { def main(args: Array[String]): Uni...

原创 关于Spark的local[N]

local[N]代表在本地运行，使用N个线程，也就是说可以同时执行N个程序，虽然在本地运行，但是因为cpu大多是多个核心，所以使用多个线程会加速执行，那么local[4]就代表4个线程...

转载 归并排序--JAVA

1.归并排序的思想分而治之：将一个大数组均分为两个大小相等的数组(奇数容量下有 1 的差值)，然后进行排序的话，时间就从对T = O(n^2)操作变成了2*O((n/2)^2) =2*O((n^2)/4) = O(n^2) / 2 = T / 2,时间缩小了一倍，我们将这个过程循环下去，直到所有数组都被分成一个元素为止，由归纳可得时间为O(n*lgn)，之后进行循环有序合并，那么明显时间为O(...

原创 hive 统计一天基站的掉话率

统计一天的基站掉话率：--建表create table cellinfo(record_time string,imei int,cell array<string>,ph_num int,call_num int,drop_num int,duration int,drop_rate int,net_type string,erl...

原创 Hive日期格式转换用法

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat])返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308943,'y...

原创 时间格式 yyyy-MM-dd'T'HH:mm:ss.SSSZ 中的T和Z表示什么

格式模式说明　d月中的某一天。一位数的日期没有前导零。　dd月中的某一天。一位数的日期有一个前导零。　ddd周中某天的缩写名称，在AbbreviatedDayNames中定义。　dddd周中某天的完整名称，在DayNames中定义。　M月份数字。一位数的月份没有前导零。　MM月份数字。一位数的月份有一个前导零。　MMM月份的缩写名称，在Abbr...

转载 MapReducec执行过程分几个阶段

宏观上MapReduce可以分为以下三个阶段,如下图1所示。阶段1：input/map/partition/sort/spill阶段2：mapper端merge阶段3：reducer端merge/reduce/output1、split阶段：此阶段，每个输入文件被分片输入到map。如一个文件有200M，默认会被分成2片，因为每片的默认最大值和每块的默认值128M...

原创 Underlying cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException : Communications link fail

连接MySQL数据库出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure解决办法1.修改wait_timeout的参数值 查看wait_timeout的值，命令：show global variables like 'wait_timeout'; ...

原创 HIVE体系结构

1、Hive架构与基本组成 下面是Hive的架构图。 图1.1 Hive体系结构Hive的体系结构可以分为以下几部分： （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Clien...

转载 HADOOP端口一览表

原创 编程人生

Armstrong曾在CSDN主办的“SDCC 2016中国软件开发者大会”上，幽默地分享了他编程20年来对软件开发的一些思考，他说：“人们总认为产品开发流程是这样：Specify→Build→Test→Sell→$$$，然而实际上却是这样的：Start→???→Product”。为什么他会这么说呢？Armstrong曾在《编程人生》中分享过他在编程习惯上有了两个改变，值得我们开发者借鉴。...

原创 深入一致性哈希(Consistent Hashing)算法原理

深入一致性哈希(Consistent Hashing)算法原理，并附100行代码实现转自：https://my.oschina.net/yaohonv/blog/1610096一致性哈希Consistent HashJava任务调度八年Java开发的感悟：什么才是程序员的立身之本 >>> 本文为实现分布式任务调度系统中用到的一些关键技术点分享——C...

原创 秒懂快速排序算法：变种(JAVA)

参考邓俊辉教授的C++代码修改的JAVA版变种快速排序：版本A快速排序：版本B快速排序：快速排序变种的实现： private static void quickSort(int[] array, int low, int high) { int i = low, j = high; while (i < j) { int pivot = array[i...

原创 Hadoop中的各种排序

1：shuffle阶段的排序（部分排序）shuffle阶段的排序可以理解成两部分，一个是对spill进行分区时，由于一个分区包含多个key值，所以要对分区内的<key,value>按照key进行排序，即key值相同的一串<key,value>存放在一起，这样一个partition内按照key值整体有序了。第二部分并不是排序，而是进行merge，merge有两次，一次...

原创 在HDFS-HA的基础上搭建:ResourceManager-HA

在HDFS-HA的基础上搭建：etc/hadoop/mapred-site.xml:<configuration><property><name>mapreduce.framework.name</name><value>yarn</value>classic+lo...