数据王子

python与redis的事1. redis安装1.1 windows下安装下载地址：https://github.com/MSOpenTech/redis/releases。Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘，解压后，将文件夹重新命名为 redis。打开一个 cmd 窗口 使用cd命令切换目

1 /*  2 特征向量相似度和距离的计算  3   4 相似度：  5 ·夹角余弦  6 ·相关系数  7 ·Dice  8 ·Jaccard  9  10 距离 11 ·明氏距离 12 ·欧氏距离 13 ·马氏距离 14 ·Jffreys & Matusita 距离 15 ·Mahalanobis 距离，未实现，协方差矩阵 16 ·C

在/etc/profile中修改环境变量如下export JAVA_HOME=/usr/java/jdk1.7.0_55-clouderaexport MAVEN_HOME=/usr/local/apache-maven-3.0.3export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$MAVEN_HOME/bin:$PATHexport CL

数据库事务的隔离级别有4个，由低到高依次为Read uncommitted、Read committed、Repeatable read、Serializable，这四个级别可以逐个解决脏读、不可重复读、幻读这几类问题。√: 可能出现 ×: 不会出现脏读不可重复读幻读Read uncommitted

Hive优化hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limit.file=10：最大文件数1. 本地模式(小任务

1、连接Mysql格式： mysql -h主机地址 -u用户名 －p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口，然后进入目录mysql\bin，再键入命令mysql -u root -p，回车后提示你输密码.注意用户名前可以有空格也可以没有空格，但是密码前必须没有空格，否则让你重新输入密码。如果刚安装好MYSQL，超级用户root是没有密码的，故直接回车即可进

Hbase与Oracle比较（列式数据库与行式数据库）分类： Oracle 数据库 Hadoop 2014-10-26 21:17 433人阅读 评论(0)收藏 举报1 主要区别1.1、Hbase适合大量插入同时又有读的情况1.2、 Hbase的瓶颈是硬盘传输速度，Oracle的瓶颈是硬盘寻道时间。  Hbase本质上只有一种操作，就是插入，

系统架构Runtime Framework v.s. MPP在SQL on Hadoop系统中，有两种架构，一种是基于某个运行时框架来构建查询引擎，典型案例是Hive；另一种是仿照过去关系数据库的MPP架构。前者现有运行时框架，然后套上SQL层，后者则是从头打造一个一体化的查询引擎。有时我们能听到一种声音，说后者的架构优于前者，至少在性能上。那么是否果真如此？一般来说，对于SQL on

在现今的推荐技术和算法中，最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题1 什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么

在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的

一、join优化　　Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。　　Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个ma

1.merge.mapfiles=true;2.merge.mapredfile=false;3.左右外连接的问题left outerright outerfull outerleft4.技术   管理  5.两张表join的时候大表在后小表在前  •hive 0.6 的时候默认认为写在select 后面的是大表，前面的是小表， 或者使用 /*+mapjoin(

1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败，因为无效的语法。 SQL使用”=”，不使用”==”。A 所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。

关系运算 （1）等值比较: =     语法:A = B     操作类型: 所有基本类型     描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE     举例：     hive> select 1 from dual where 1=1;     1 （2）不等值比较:      语法: A      操作类型: 所有基本类型

1.新建转换 如图所示2.双击(运行SSH命令)3.Setting中进行如下设置命令为:hadoop fs -rm -r -skipTrash ${oss_hadoop_root_dir}/hive/cm_sector_info_tbl/upload_date=${oss_date_hdfs_rm_seven_days_ago}其中${}为变量名变量名的定义在参数获取七天前

1.给某个用户授权grant select on database ffcs_cheny to user ffcs_cheny;2.ddlStatement : ( createDatabaseStatement | switchDatabaseStatement | dropDatabaseStatement | createTableStatement | dropTableSta

1.web jsphttp://blog.csdn.net/chinacsharper/article/details/39855287

一、 数据库1、 Oracle数据库，视图与表的区别？普通视图与物化视图的区别？物化视图的作用？2、 Oracle数据库，有哪几类索引，分别有什么特点？3、 Union与Union All的区别？4、 对游标的理解？游标的分类？使用方法？5、 如何查找和删除表中的重复数据？给出方法或SQL。6、 不借助第三方工具，怎么查看SQL的执行计划？7、 创建索引有哪些需要注意的

没想到这么快就拿到了一个offer了，放佛做梦一般。谢师兄经常教育我们要学会分享，所以我决定写点什么给大家，也为自己攒点rp吧。【实习碰壁】上个学期末我就开始投简历了，那时候是为了找一份暑期实习做做。我投了4家公司，但是都被鄙视了，不是面试挂了，就是至少要求实习6个月，有的甚至连笔试机会都不给我。当时心里相当得失落。实验室的博士gg安慰我，说还是利用暑假好好看看书，好好巩固下基