- 博客(67)
- 资源 (12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop HIVE 基本函数
1.类型转换函数select cast("5" as int)2.数学运算函数select round(5.4)select greatest(3,5,6)3.字符串函数select substr("abcdefg",2)4.时间函数select current_timestamp;select current_date;5.其他explode(subjects) 去除列表...
2019-08-28 23:09:54
315
原创 Hadoop HIVE 复合数据类型
1.数组 arraysarrays: ARRAY<data_type> (Note: negative values and non-constant expressions are allowed as of Hive 0.14.)建表create table t_movie(moive_name string,actors array<string>,first_...
2019-08-28 23:09:21
166
原创 Hadoop HIVE 基本数据类型
1.数字类型类型描述TINYINT(1-byte signed integer, from -128 to 127)SMALLINT(2-byte signed integer, from -32,768 to 32,767)INT/INTEGER(4-byte signed integer, from -2,147,483,648 to 2,147,483...
2019-08-28 23:08:51
354
原创 Hadoop HIVE 聚合查询
非聚合,对每一行进行计算select ip,upper(url),access_time # 该表达式进行逐行运算from log;聚合,对分组数据进行计算select url,count(1) as cnts # 该表达式是对分好组的数据组内每行进行运算,count(1)表示每行+1from log group by url having cnts>2; #having...
2019-08-28 23:08:21
355
原创 Hadoop HIVE 关联查询
写sql时首先写表from(from是构造表),join是关联,on是join的条件1.inner joininner是a.name=b.name两张表都有才返回select a.*,b.*from t_a a inner join t_b b on a.name=b.name2.left joinleft和right都可以省略outer关键字left是右表没有则填nullse...
2019-08-28 23:07:54
320
1
原创 Hadoop HIVE 创建表
创建库库名目录描述defaulthdfs://hdp20-01:9000/user/hive/warehouse默认数据库create database db_test;hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db在/user/hive/warehouse/目录下创建创建表use db_tes...
2019-08-28 23:07:24
3120
原创 Hadoop HIVE 安装配置(单机&集群)
解析SQL语法,组装成一个mapreduce jobhive sql语句中的表和日志文件之间的映射关系 是通过mysql来实现的配置1.修改配置文件conf/hive-site.xml<configuration><property><name>javax.jdo.option.ConnectionURL</name><valu...
2019-08-28 23:06:52
518
原创 TensorFlow 图片预处理
参考:https://www.yueye.org/2018/resize-an-image-in-tensorflow-while-keeping-the-aspect-ratio.htmlhttps://blog.csdn.net/wiborgite/article/details/78933719https://blog.csdn.net/qq_32466233/article/deta...
2019-08-28 23:05:28
126
原创 rnn stateful
参考:http://www.aibbt.com/a/18888.htmlhttps://www.jianshu.com/p/0c65b47cd6fbhttps://zhuanlan.zhihu.com/p/34495801https://blog.csdn.net/ningyanggege/article/details/80762054https://stackoverflow.com...
2019-08-28 23:04:59
219
原创 使用keras理解LSTM
参考英文原文https://stackoverflow.com/questions/45649520/explain-with-example-how-embedding-layers-in-keras-works/46896434#46896434https://stats.stackexchange.com/questions/270546/how-does-keras-embeddin...
2019-08-28 23:04:13
148
原创 变长rnn数据
参考：https://blog.csdn.net/gt362ll/article/details/83653475https://blog.csdn.net/u010867294/article/details/79464027https://blog.csdn.net/qq_27825451/article/details/88991529
2019-08-28 23:03:37
206
原创 TensorFlow tf.keras.layers.TimeDistributed
对时间序列每个timestamp的向量空间做一个层# as the first layer in a modelmodel = Sequential()model.add(TimeDistributed(Dense(8), input_shape=(10, 16))) # 对序列的每个timestamp加一个dense层# now model.output_shape == (None,...
2019-08-28 23:03:02
1135
原创 TensorFlow tf.keras.backend.ctc_batch_cost
inittf.keras.backend.ctc_batch_cost( y_true, y_pred, input_length, label_length)参数描述y_truetensor (samples, max_string_length)，真正的标签y_predtensor (samples, time_steps,...
2019-08-28 23:02:33
1405
原创 TensorFlow tf.keras.layers.Lambda
# add a x -> x^2 layermodel.add(Lambda(lambda x: x ** 2))参考：官网
2019-08-28 23:02:02
2572
原创 TensorFlow tf.keras.layers.Permute
更改维度的顺序,维度索引从1开始model = Sequential()model.add(Permute((2, 1), input_shape=(10, 64))) # 交换第一维度和第二维度# now: model.output_shape == (None, 64, 10)# note: `None` is the batch dimension```参数|描述--|--...
2019-08-28 23:01:32
3218
原创 TensorFlow tf.keras.callbacks.ModelCheckpoint
在每个epoch后保存模型权重filepath可以包含命名格式化选项，可以由epoch的值和logs的键（由on_epoch_end参数传递）来填充。例如：如果filepath是weights.{epoch:02d}-{val_loss:.2f}.hdf5，则模型检查点将与文件名中的epoch号和验证损失一起保存。参数描述filepath保存模型文件的路径。mon...
2019-08-28 23:00:55
3172
原创 TensorFlow tf.keras.callbacks.EarlyStopping
参数描述monitor监控的数量min_delta小于该值的会被当成模型没有进步patience没有进步的训练轮数，在这之后训练就会被停止verbose详细信息模式mode{“auto”, “min”, “max”}其中之一。在min模式中，当监测的数量停止减少时，训练将停止；在max模式下，当监测的数量停止增加时，它将停止；在auto模式下，...
2019-08-28 22:59:43
779
原创 TensorFlow tf.keras.callbacks.CSVLogger
csv_logger = CSVLogger('training.log')model.fit(X_train, Y_train, callbacks=[csv_logger])参数描述filename保存的文件名separatorcsv的分隔符appendTrue：append;False：overwrite参考：官网...
2019-08-28 22:59:07
2860
原创 Pycharm TensorFolw配置
使用快捷方式打开pycharm没有载入~/.bashrc配置，所以不能使用cuda方法1：在pycharm中添添加配置环境参数，在run整个文件的时候，可以，但是console还是不行方法2：直接运行pycharm.sh可以使用cuda方法3： 快捷方式启动在pycharm.sh中直接添加环境变量打开pycharm,sh文件：sudo vim pycharm.sh添加如下内容：...
2019-08-28 22:57:49
206
原创 Tensorflow tf.keras.layers.GRU
init__init__( units, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initia...
2019-08-21 15:11:12
7407
1
原创 TensorFlow tf.keras.layers.SimpleRNN
init__init__( units, activation='tanh', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', kernel_regularize...
2019-08-21 13:25:17
3882
1
原创 机器学习理论
机器学习 基础知识机器学习 线性回归机器学习 过度拟合机器学习实战(MachineLearinginAction) 第一章机器学习实战(MachineLearinginAction) 第二章 k-近邻算法机器学习实战(MachineLearinginAction) 第三章 决策树朴素贝叶斯(naive Bayes)朴素贝叶斯(naive Bayes) 二Logistic回归神经网...
2019-08-20 13:22:35
1078
原创 tesseract
tesseract 安装tesseract 使用说明tesseract APItesseract 提升识别质量tesseract 配置文件tesseract win 训练tesseract linux 训练pytesseract
2019-08-20 13:21:22
483
原创 vim 实用技巧
命令前数字,是指执行该命令几次(除了gg和G之外,gg和G是指跳转到第几行)4dd 执行dd命令4次,删除4行4j 执行j命令4次,光标向下移动了4行类型命令描述监听命令y(copy复制),d(del删除),c(change更改)输入此命令后面要跟移动命令作为范围监听命令描述dd删除当前行dl删除光标右1字符dh...
2019-08-11 17:00:51
309
原创 vim 实用技巧 查找和替换
替换一行描述s/from/to/g在当前行进行替换操作。.s/from/to/g在当前行进行替换操作。1s/from/to/g在第1行进行替换操作。$s/from/to/g在最后一行进行替换操作替换多行描述1,100s/from/to/g对第1行到第100行的内容进行替换。1,$s/from/to/g1行到最后。...
2019-08-11 17:00:13
235
原创 MySQL 8.0.16安装（win64）
1.下载MySQL82.配置环境变量将压缩包解压，并配置环境变量3.初始化在MySQ文件夹根目录下创建my.ini文件,内容如下：[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录basedir=D:\program\mysql-8.0.16-winx64# 设置mysql数据库的数据的存放目录,一般都设置在根目录下datadir=D...
2019-08-11 16:56:24
3399
1
原创 docker network
参考:https://www.cnblogs.com/zuxing/articles/8780661.htmlhttps://www.jianshu.com/p/04b33284f742
2019-08-11 16:55:11
150
原创 RABC权限模型
基于角色的权限访问控制(Role-Base Access Control)User表存储用户的信息字段描述id用户id,主键username用户名realname真实姓名password用户密码createDate创建时间lastLoginTime上次登录时间enabled是否可用accountNonExpired...
2019-08-11 16:52:53
6353
原创 nginx 命令
nginx有一个主进程和几个子进程。主进程用来读取和评估配置文件，维护子进程。子进程用来处理请求配置文件叫做nginx.conf一般被存放在/usr/local/nginx/conf,/etc/nginx或/usr/local/etc/nginx当nginx启动后可以使用-s参数来控制它,nginx -s signalsignal描述stop停止服务quit...
2019-08-11 16:52:06
151
原创 Node.js nodemn
npm install --global nodemonnode app.js->nodemon app.js会监视服务文件的变化,自动重启服务器
2019-08-11 16:48:52
242
原创 Node.js npm
EcmaScript(Node中没有BOM和DOM)核心模块(文件操作fs，服务http，路径操作url，路径处理path，操作系统os)第三方模块，通过npm下载自己写的模块CommonJS模块系统模块作用域使用require方法加载模块使用exports接口对象导出模块中的成员导入与导出导入var xxx = require('module`)执行被加载模块的...
2019-08-11 16:48:12
133
原创 Node.js webpack
npm i webpack -g在编辑js的时候使用node,然后使用webpack打包成bundle.js在导入到html中.这样做的好处是处理js文件的相互依赖关系处理js兼容问题,把node.js的语法翻译成浏览器能解析的代码webpack main.js bundle.jswebpack.config.js来配置webpackconst path = require('p...
2019-08-11 16:47:37
232
原创 router-link
router-link>标签来代替<a href="..."><router-link tag="li" to="/foo">测试</router-link>props类型默认描述tostring必须填写跳转链接，内部会立刻把 to 的值传到 router.push()replacebooleanfalse会...
2019-08-11 16:45:29
1641
原创 Element menu
坑1:看好官方文档给的各个属性对应的标签,这次把router='true’放在el-menu-item完全没用,而应该放在el-menu标签里.参考:el-menu 添加跳转链接
2019-08-11 16:43:05
209
原创 linux 命令行&图形界面切换
参考文献：https://blog.csdn.net/yuchunhai321/article/details/84982958https://blog.csdn.net/leafrenchleaf/article/details/84177114https://www.cnblogs.com/cielosun/p/9939442.html
2019-08-11 16:36:09
1671
2016最新中国行政区划分
2016-12-12
CSDN 如何搜索自己感兴趣的问题回答？
2017-05-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人