- 博客(333)
- 收藏
- 关注
RSS订阅转载 RabbitMQ使用介绍及实例
消息列队不做过多解释了，直接讲讲rabbitmq的基本概念和路由模式。一、安装及基本概念rabbitmq是基于erlang编写的，所以安装rabbitmq之前需要安装erlang的环境，配置环境变量，百度即可。connectionFactory、connection、channel不做过多介绍，基本步骤为1.初始化连接工厂2.从连接工厂获取连接3.在连接中打开一个通道...
2019-04-12 16:48:00
316
转载 Swagger入门教程
[译]5.41 Swagger tutorial单击此处查看原文更多概念参见：Implementing Swagger with your API docs关于 SwaggerSwagger能成为最受欢迎的REST APIs文档生成工具之一，有以下几个原因：Swagger 可以生成一个具有互动性的API控制台，开发者可以用来快速学习和尝试API。S...
2019-03-13 21:01:00
319
转载 Caffe 编译后版本 下载即可使用
百度地址 ： https://pan.baidu.com/s/1ETss8tqdJ5NikdVh_GJKnw 提取码: zyx9参考 blog https://www.cnblogs.com/zl20pn/p/6218958.html非常棒的blog https://blog.csdn.net/weixinhum/article/det...
2019-03-05 13:04:00
2712
转载 日期 Long 类型和date 类型转化
select create_time ,FROM_UNIXTIME(CREATE_TIME/1000,'%Y-%m-%d %H:%i:%s') from xxxx where create_time = 1551691014日期 Long 类型和date 类型转化 转载于:https://www.cnblogs.com/...
2019-03-04 17:20:00
235
转载 win7 编译 通过cmake 编译caffe 报错
网络上也没有一个特别的说明解决方法和方案 ：INFO: ============================================================'"E:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\Tools\..\..\VC\v...
2019-02-28 09:12:00
2449
转载 华尔街炒家的12条经验
要把所有的华尔街操盘经验都写出来起码要有两百页的篇幅,其中大部分是“为赋新词强说愁”。我在这里将实践中证明最为重要的规矩整理出来。这些规矩已由我的实际操作证明可以遵循且行为有效,希望读者们能牢牢记住它们。１,止损,止损,止损！我不知道该怎样强调这两字的重要,我也不知还能怎么解释这两个字,这是炒股行的最高行为准则。你如果觉得自己实在没法以比进价更低的价钱...
2019-01-28 20:40:00
125
转载 flink stream 终于上local 集群 运行起来
先上图 运行界面运行了三个任务第一个是word count第二三个是 数据 producer and consumer ----> 更多代码 可以参考上一篇blog 里面有很详细的介绍 在数据从idea 导出jar 包 已经 运行的过程中遇到两个问题1，导出时候 因为是单机环境 需要把 kafka 等相关的依赖 一起...
2019-01-23 20:19:00
89
转载 如何在盘中抓住个股起涨的信号
都说炒股最难的是逃顶,其实这只说对了一半。单就波段操作而言,除了逃顶,炒股还有一难,这就是抄底。抄底有哪些技巧?该注意哪些问题?这些都颇费思量,十分讲究。症结:屡抄屡亏的背后玄机投资者都希望能成功抄底。然而不同的投资者结果往往大不相同:嗅觉灵敏、胆大心细的,总能抄到大底;反应迟钝、左顾右盼的,往往与底无缘。更有甚者,本想通过抄底捡些便宜筹码,结果不得要...
2019-01-17 12:56:00
111
转载 波段是金牢记六大诀窍
资本市场的多空博弈的激烈程度无异于战场上生死的较量，保全实力选准时机集中兵力重拳出击，方能赢得战机。利润最大化永远是投资者参与市场博弈最高目标，要想实现目标，波段是金往往是重要的途径，实际操作过程中务必牢记“六大诀窍”。诀窍一、坚持从“成交量、换手率、趋势线”三方面全心研究。短期股价急速上涨到30%以上、特别是翻番股，成交量激增，换手率连续超过15%（...
2019-01-17 12:54:00
135
转载 zk kafka mariadb scala flink integration
zk kafka mariadb scala flink integrationI do not want to write this paper in the beginning , put the codes onto github.com/git.jd.com, while there some errors since moved to jd...
2019-01-17 08:50:00
100
转载 机器学习初级重要概念
机器学习初级重要概念数据的归一化计算z-score 归一化min-max归一化动态学习率与动量的优化算法adadelta动量adamrmsprop神经网络的FP和BP的计算与推导激活函数是什么？如何计算？导数是什么？输入数值如何进行计算输出值如何求得任意的参数的梯度下一轮的参数会如何进...
2018-12-29 15:51:00
84
转载 Sqoop 调试 错误 from hive to mysql
1. mysql jdbc 错误 需要驱动 2. mysql 服务器 ip 错误 即便是本地 也需要用 域名 或 是 ip 不能 用 localhost 等 3. 数据长度 问题 ，hive 乳沟 大于 mysql 错误4. hive 跟 mysql 字段名称 尽量匹配 或是 一致 5. hive 的 dt 数据 是通步不...
2018-12-21 20:16:00
63
转载 svm util tool
#!/usr/bin/env pythonimport osimport sysfrom svm import *from svm import __all__ as svm_all__all__ = ['evaluations', 'svm_load_model', 'svm_predict', 'svm_read_problem',...
2018-12-18 14:27:00
119
转载 Python interface of LIBSVM
------------------------------------- Python interface of LIBSVM -------------------------------------Table of Contents=================- Introduction- Installation- Qui...
2018-12-18 11:23:00
101
转载 图像处理的几种方法
图像处理的几种方法 1.使用skimage name details name details name details astronaut 宇航员图片 coffee 一杯咖啡图片 lena lena图片 camera 拿相机的人图片 coins...
2018-12-17 09:10:00
2523
转载 hive 小文件数据合并
hive 数据有时候需要进行数据合并#!/bin/bashhadoop jar /software/servers/bdp_tools/mergefiles-1.7.jar -u lzo -p hdfs://ns1/user/dd_edw/adm.db/table_name/dt=2018-09-012018/12/06 今儿谈话聊天更...
2018-12-06 14:07:00
207
转载 Python 生成均值为2 ，标准差为3 的一维正态分布样本500
Python 生成均值为2 ，标准差为3 的一维正态分布样本500import numpy as npimport scipy.stats as st import matplotlib.pyplot as plts=np.random.normal(2, 3, 500)s_fit = np.linspace(s.min(), s.m...
2018-12-04 16:02:00
532
转载 sz & rz
sz & rz 用来下载和上传 转载于:https://www.cnblogs.com/TendToBigData/p/10501157.html
2018-11-30 15:05:00
95
转载 scp 一个最简单的Linux 数据copy
scp -P 2022 -r waterdata/ root@ip:/disk/yunxhyou should know that the p is bigerr 转载于:https://www.cnblogs.com/TendToBigData/p/10501158.html
2018-11-28 11:08:00
116
转载 15道AI 机器学习笔试题（暂时没有答案）
转载于:https://www.cnblogs.com/TendToBigData/p/10501159.html
2018-11-26 09:09:00
161
转载 曾在贵州茅台上赚过30倍的私募大佬 如今又语出惊人 好文章共勉
尽管近期重磅利好不断出台，但市场信心整体依然不足，A股在上周经历过短暂的兴奋后，本周再次犹豫不决。 中欧瑞博董事长吴伟志却认为，“这恰是底部的特征，如果管理层一喊话，指数就大涨，两融规模就上去了，投资人信心就很足，我的信心反而要打折扣。当前无疑是我经历的第四次行情底部，我很兴奋，又来到一个赚大钱的起点。” 吴伟志是一位拥有25年投资经验...
2018-11-08 09:00:00
88
转载 The most important parameters of spark env when you using spark run data things
The most important parameters of spark env when you using spark run data thingsIn my memory I always confused by these parameters ,so it's a good time to understand them to...
2018-11-02 16:40:00
85
转载 懵逼，同事前几天问我一个udf 问题 ，还是 Python 格式的
以前所有的Hive 函数都是 Java 或是 Scala 语言写的 ，Python 没有弄个 ，看到Python 格式的 code 懵逼了 ，非常懵逼今天在看 Python 正则表达式偶遇 Python udf 的一个 case ，不过 Python 484 not support udaf or udtf ?? I hav...
2018-10-31 18:06:00
71
转载 Hive error log :FAILED: Execution Error, return code 137 from org.apache.hadoop.hive.ql.exec.mr.Mapr
From below log is not easy to find the root reason ,any body know that ,thx2018-10-22 03:45:41 INFO 2018-10-22 03:45:41,651 Stage-2(job_1540003897972_375058) map = 100%, redu...
2018-10-22 09:05:00
512
转载 Hive 关联主键数据倾斜的一种处理方法
记得之前用过一种办法，concat(a.col,'-',ceil(rand()*100)%20))，将记录数特别多的关联字段取模20，得到新字段a.col2；另外维护一张有20条记录的小表，小表的数据从0到19，用b表的关联字段关联这张小表得到新的字段b.col2，然后再用这个新字段b.col2关联a表的新字段a.col2这样，相当于a表的值特别多的记...
2018-10-18 17:53:00
158
转载 一个优秀投资人必备的12条素养（深度总结！）
素养1站的高，看的远投资如下棋，看不到三步，谈不上高手，真正的大师往往能看到七八步之后。最优秀的投资人能预判五年以后的行业形势，并提前布局，软银的孙正义，投资日本雅虎、阿里巴巴等就是其远见卓识的具体表现。优秀的投资人能够看到三年以后的行业形势，比如股权分置改革前购买法人股的某非知名投资人，07年中小板开板后作出“宁可投错，不可错过”判断的...
2018-10-16 20:01:00
173
转载 hive null 值倾斜数据处理方法
on case when a.user_id is null then concat(‘jd-hive’,rand() ) else a.user_id end = b.user_id;如果两个表join 时 关联键 有众多null 值 ，null值数据会被分发到某一个节点 ，会导致数据倾斜 导致process 运行缓慢 或是因为内存溢出等原因...
2018-10-16 16:05:00
107
转载 EBC动作片 记录EBC 的 景 和 人
剧本基本剧情： 小H，某集团智能机械体一号员工 ，喜欢户外运动，擅长武术 ，街舞，吊儿郎当小S (众)，不详尼泊尔 EBC 探险之路遭遇China 国 在尼泊尔赌品交易受中国政府之命 捣毁临危受命 ，但是能力有限 使用小H家中的个人开发的，未上市的智能机械体（个人）小S 询问 你会使用枪支吗 ？小H 你傻吗 ？ 我可是北方国际...
2018-09-28 15:20:00
101
转载 Hive 行列转换
在京东众多业务中，促销业务充满了复杂性和挑战性，因为业务的灵活性，很多数据都存储成xml和json格式数据，这就要求下游数据分析师们需要对其做解析后方可使用 。在众多操作中 ，有一种是需要对数据做行列转换操作。数据结构：create external table jd_row_to_column(jd_id string ,jd_sess...
2018-09-26 20:16:00
94
转载 TensorFlow 使用预训练好的卷积神经网络和循环神经网络（lstm）模型处理图片转文字（im2txt）...
TensorFlow 使用预训练好的卷积神经网络和循环神经网络（lstm）模型处理图片转文字（im2txt）这是AI大智慧系列文章中的一篇关于图片转文字的一篇博文，介绍了如果使用已经训练好的模型。由于本模型的训练非常耗时间，GPU下可能需要 2weeks ，如果是浦东（普通）的笔记本，天呢，估计需要一年的时间（当然夸张了，一个月的时间还是需要的，根据...
2018-09-03 12:41:00
249
转载 45度做人，90度做事，180度为人，360度处事
俗话说，三思而后行，这句话是在警戒我们遇事不要忙着做决定，要先细细思量，这思量中就包含着做事的度，所谓做人做事要有度，失度必失45度做人人生在世，做人要谦卑。只有谦卑的人才能走更远的路，俯下身子，正视前方，踏踏实实、一步一个脚印地往前走。既不要因为一时的成功而自大，也不要因为一时的失败而一蹶不振。始终目中有人，待人谦逊，日后才能有所回报。...
2018-08-24 17:45:00
125
转载 当前京东数据平台用到spark 的五种方式
当前京东数据平台用到spark 的五种方式1.spark sql 数据从Hive 同步到ES 用python包装命令， 使用spark-submit 提交 ，run_shell_cmd(spark-submit) 具体案例可以参考另外的博文2.机器学习会用到pyspark 自带的类似kmeans 的方法做数据加载 ，用pypsark 写 应用...
2018-08-09 09:16:00
82
转载 美团 R 语言数据运营实战
一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景下，是否能探索和挖掘数据价值，具备精细化数据运营的能力，就成为判定一个数据团队成功与否的关键。在数据从后台走向前台的过程...
2018-08-07 13:32:00
123
转载 All you need to know about AI In Digital Marketing Technology
Artificial Intelligence and Machine Learning have become the most powerful technologies of the future. One of the key domains which are getting revolutionized by Artificial Intel...
2018-08-01 20:43:00
236
转载 如何才能高效学习，99%的人不知道的高效学习法（非常棒棒文章）
看到一篇关于高效学习的文章，分享给大家，转载自卢松松博客。每个人从出生到老去，都是需要不断学习不断获得新知识的。我们每个人都清楚，知识真的是这个时代最稀缺的一种资源。只有掌握更多的知识，我们才能在这个社会上更好的立足。那么，为了掌握更多的知识，获得新的技能，我们就需要学习，而且想是要进行长时间的，高效的学习。不过如何保持长时间高效的学习...
2018-07-31 13:25:00
106
转载 Hive 查看partition 以及msck 修复分区
# check table 的 partitionhive> show partitions table_name ;如果是外部表 ，不小心把表给删除了 ，可以适用下命令重新关联表和数据[MSCK REPAIR TABLE] 全量修复分区hive> msck repair table table_name; ...
2018-07-23 17:26:00
644
转载 Hive 解析 json,json array
在大数据处理中经常遇到业务端发送json 数据到 table 里 的情况 ，这个需要数据开发工程师能够准备对json string 进行解析 ，并重新定义新表的结构 。在网络上看到很多网友提到 get_json_object ,json_tuple 的使用和案例 ，结合 替换和分组函数可以比较容易的对json 数据完成解析 。不久前我们...
2018-07-18 14:13:00
775
转载 记我的京东第一个618
京东618 想想都兴奋，很多商品要打折，这是我们从用户处看到的镜像大家都摩拳擦掌期望在这天买到自己心仪又实惠的商品但是作为京东的业务和研发人员来说 ，他们可能都已经连续三四天在公司待到凌晨2,3点 保证整个事件的正常有序进行作为我个人而言是仓库部门，压力主要集中在离线数据的加工 我们知道在618 期间数据会成一个高比率的速度增长 尤其是...
2018-06-21 18:39:00
100
转载 Hive SQL 将一个行转化成N多列
select explode(Array('row1','row2','...','rown'))Result col_name row1row2...rown 转载于:https://www.cnblogs.com/TendToBigData/p/10501181.html
2018-06-16 16:54:00
776
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人