2019年10月_photographyCat

12月 11月 10月 09月 08月 07月 06月 05月

原创机器学习-正规方程

吴恩达机器学习笔记系列一、什么是正规方程梯度下降法计算参数最优解，过程是对代价函数的每个参数求偏导，通过迭代算法一步步更新，直到收敛到全局最小值，从而得到最优参数。正规方程是一次性求得最优解。思想：对于一个简单函数，对参数求导，将其值置为0，就得到参数的值。像下面这样：现实例子有很多参数，我们要对这些参数都求偏导数，得到各个参数的最优解，也就是全局最优解。但是困难在于，这样做非常浪费时...

2019-10-31 16:36:27 876

转载 Mysql case when 实现行转列时为什么要用max()或者其他聚合函数

原文链接：https://blog.csdn.net/u014180504/article/details/79150492总结：分组函数一定和聚合函数一同存在！！！！！！！！！原始数据不加max进行case when加max:很明显两次结果不同，不加max结果不对，熟悉分组聚合的同学应该一下就明白了这里还是进行下说明为什么要加max,这里直接采用这位网友的答案：...

2019-10-15 15:16:17 579

原创 Hive表导出成csv文件

hive -e "set hive.cli.print.header=true; select * from userdb.employees2" | sed 's/[\t]/,/g' > hhd.csvset hive.cli.print.header=true能将表头输出；sed ‘s/[\t]/,/g’ 将\t替换成,将shell里打印的内容输出到文件...

2019-10-11 17:15:28 1882 1

原创 Hive中如何复制一张分区表（包括数据）

Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_table;那么如果是分区表呢？首先想到的办法可能是：先创建一张和old_table结构相同的new_table，包括分区；可以使用CREATE TABLE new_table LIKE old_...

2019-10-10 16:46:56 2368

原创 hive 导出数据

hive的数据导出方式hive有三种导出数据的方式导出数据到本地导出数据到hdfs导出数据到另一个表导出数据到本地文件系统insert overwrite local directory '[desFile]' select * from [srcFile]; 例： insert overwrite local directory '/home/wyp/wyp' selec...

2019-10-08 17:18:47 206