sunqingok的博客

Azkaban安装部署1、下载后编译修改 build.gradle文件中的maven仓库地址为http://maven.aliyun.com/nexus/content/groups/public/执行命令./gradlew build./gradlew clean./gradlew installDist./gradlew test./gradlew build -x test如果报错：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LeVrPT9V-164

1、设置临时清华源镜像pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package2、设置默认永久清华源镜像#升级pip install pip -U#设置pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

1、安装epel-releasesudo yum -y install epel-release2、安装python-pipsudo yum -y install python-pip3、升级pipsudo pip install --upgrade pip4、检查pip版本 pip --version5、修改pip源[root@localhost ~]# cd ~ #回到家目录[root@localhost ~]# mkdir .pip #创建.pip目录[root@loc

"""python基础语法python- Python是一门效率极高的语言，相对于其他编程语言，用Python编写程序，所使用的代码更少。- 更容易阅读、调试和扩展。- 数据科学领域应用非常广泛，有丰富的第三方库，如Numpy，Pandas，Matplotlib，scikit-learn等- Web开发，游戏开发等""""""python基本数据类型,字符型,数值型"""#python单行注释"""python多行注释,shili"""#python字符型

由于集群的名称配置成了带有下划线的名称，hdfs是不识别带特殊符号（中间线除外）的名称的，导致hive连接时报错。于是修改配置，重新设置集群名称并修改集群名称相关的所有配置。hadoop集群配置中，如果修改了core-site.xml中的fs.defaultFS属性及hdfs-site.xml中的dfs.nameservices属性等集群相关的属性，该如何处理呢？首先，要删除掉所有节点tmp目录下的dfs文件夹，然后启动每个节点的journalnode进程，然后在主节点上对namenode格式化（bin

查看日志报错如下：2021-04-24 15:00:17,359 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hadoop/bdlog/hadoop/tmp/dfs/data/in_use.lock acquired by nodename 11815@apa-node012021-04-24 15:00:17,360 WARN org.apache.hadoop.hdfs.server.common.Storage:

第一范式（1NF）：如果一个关系模式的所有属性都是不可分的基本数据项，则该关系模式满足第一范式。第一范式规定了原子性。第二范式（2NF）：若关系模式满足第一范式，并且每一个非主属性都完全函数依赖于关系模式的码，则该关系模式满足第二范式。第二范式表示每个表必须有且仅有一个主键，其他属性完全依赖于主键。第三范式（3NF）：关系模式中的每一个非主属性既不部分函数依赖于候选码，也不传递函数依赖于候选码。BC范式（BCNF）：设关系模式满足第一范式，关系模式中的每个决定因素都包含码，该关系模式满足BC范式。三

在配置文件my.cnf（存放目录一般在/etc）中添加skip-grant-tables，然后重新启动mysql服务。

一 协同过滤算法协同过滤（Collaborative filtering）算法是一种基于群体用户或者物品的典型推荐算法，主要有两种：一种是通过考察具有相同爱好的用户对相同物品的评分标准进行计算。一种是考察具有相同特质的物品从而推荐给选择了某件物品的用户。协同过滤算法关键是计算相似度，主要有以下几种方法：1、 基于欧几里得距离计算公式：主要从不同目标的绝对差异性考虑2、 基于余弦角度计算公式：主要从方向趋势上考虑3、 交替最小二乘法（ALS）Val ratings = data.map

一、 数据类型Spark MLlib基本数据类型包括：1） 本地向量集，主要向spark提供一组可操作的数据集。向量包括稀疏型数据集（spares）和密集型数据集（dense）。代码示例如下： val vd:Vector = Vectors.dense(2,0,6) //密集型 val vs:Vector = Vectors.sparse(4,Array(0,1,2,3),Array(9,5,2,7))2） 向量标签，让用户能够分类不同的数据集合。代码示例如下： //使

ubuntu（我的是18）系统卸载openjdk，安装sunjdk一、 卸载openjdksudo apt-get remove openjdk*二、 安装jdk1、 下载压缩包，解压到/usr/lib/java2、 配置环境变量sudo gedit /etc/profile在文档末尾添加export JAVA_HOME=/usr/lib/java/jdk1.8.0_261export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAV

一、 定义访问者模式（Visitor），表示一个作用于某个对象结构中的各元素的操作。它使你可以在不改变各元素的类的前提下定义作用于这些元素的新操作。访问者模式适用于数据结构相对稳定的系统。它把数据结构和作用于结构之上的操作之间的耦合解脱开，使得操作集合可以相对自由的演化。对于有比较稳定的数据结构，又有易于变化的算法的情况，适合用访问者模式。访问者模式的优点就是增加新的操作很容易。二、 结构图三、 示例代码（男人女人对比为例，待补充）...

一、 定义解释器模式（interpreter），给定一个语言，定义它的文法的一种表示，并定义一个解释器，这个解释器使用该表示来解释语言中的句子。解释器模式的好处是很容易改变和扩展文法。二、 结构图三、 示例代码(乐谱翻译为例，待补充)...

cat aa0file.txt | tr ’ ’ ‘
’ | sort -k 1 | uniq -c | awk ‘{print $2 “\t”$1}’ | sort -k2 -nr | head

一、 定义享元模式（Flyweight），运用共享技术有效地支持大量细粒度的对象。应用：1）如果一个应用程序使用了大量的对象，而大量的这些对象造成了很大的存储开销时就应该考虑使用2）对象的大多数状态可以外部状态，如果删除对象的外部状态，那么可以用相对较少的共享对象取代很多组对象，可以考虑使用享元模式。二、 结构图三、 示例代码...

一、 定义中介者模式（Mediator），用一个中介对象来封装一系列的对象交互。中介者使各对象不需要显示的相互引用，从而使其耦合松散，而且可以独立的改变它们之间的交互。中介者减少了其他一系列对象的交互，但是由于对其他一系列对象控制集中到了中介者类上，如果此类出现问题，则整个系统都会出问题。选用中介者模式要考虑清楚，尤其是多对多的关系时。二、 结构图三、 示例代码...

一、 定义职责链模式（Chain of Responsibility），使多个对象都有机会处理请求，从而避免请求的发送者和接收者之间的耦合关系。将这个对象连成一条链，并沿着这条链传递该请求，直到有一个对象处理它。优点：二、 结构图三、 示例代码（以公司的请假审批流程为例，待补充）...

一、 定义命令模式（Command），将一个请求封装为一个对象，从而使你可用不同的请求对客户进行参数化；对请求排队或记录请求日志，以及支持可撤销的操作。二、 结构图三、 示例代码（以烤肉店点餐为例，待补充）...

一、 定义桥接模式（Bridge），将抽象部分与它的实现分离，使它们都可以独立地变化。可以理解为实现系统可能有多角度分类，每一种分类都有可能变化，那么就把这种多角度分离出来让它们独立变化，以减少它们之间的耦合。二、 结构图三、 示例模式...

一、 定义单例模式（Singleton），保证一个类仅有一个实例，并提供一个访问它的全局访问点。二、 示例代码（待补充）