- 博客(60)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 重现并分析在MySQL中使用replace into 的坑
MySQL 对 SQL 有很多扩展，有些用起来很方便，但有一些被误用之后会有性能问题，还会有一些意料之外的副作用，比如 REPLACE INTO。背景* MySQL5.7* ROW模式* 表结构CREATE TABLE `test` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `col_1` varchar(100) DEF...
2018-05-09 16:52:32
6447
转载 mysql binlog系列（一）----binlog介绍、日志格式、数据查看等
（一） binlog介绍binlog,即二进制日志,它记录了数据库上的所有改变，并以二进制的形式保存在磁盘中；它可以用来查看数据库的变更历史、数据库增量备份和恢复、Mysql的复制（主从数据库的复制）。（二） binlog格式binlog有三种格式：Statement、Row以及Mixed。–基于SQL语句的复制(statement-based replication,SBR)， –基于行的复制(...
2018-05-09 11:41:47
438
原创 【MySQL】浅析“replace into 操作” 与 “insert into+ON DUPLICATE KEY UPDATE操作”
一 介绍 在笔者支持业务过程中，经常遇到开发咨询replace into 的使用场景以及注意事项，这里做个总结。从功能原理，性能和注意事项上做个说明。同时说明下insert into+ON DUPLICATE KEY UPDATE操作的使用区别和场景。二 原理Replace Into2.1 当表中存在主键但是不存在唯一建的时候。表结构CREATE TABLE `yy` ( `id` bigin...
2018-05-09 10:53:06
988
原创 Spark提交应用读取配置信息的顺序
通过SparkConf 对象配置的属性优先级最高；其次是对spark-submit 或 spark-shell通过flags配置；最后是spark-defaults.conf文件中的配置。链接：Spark三种属性配置方式详细说明 – 过往记忆 https://www.iteblog.com/archives/1140.html...
2018-05-08 11:51:08
503
原创 Spark内存分配
Spark中executor-memory参数详解 https://blog.csdn.net/wisgood/article/details/77857039#commentsedithadoop - Yarn - why doesn't task go out of heap space but container gets killed? - Stack Overflow https://...
2018-05-08 11:18:31
937
转载 Shell 已经很强大了，为什么在 Linux 操作还需要 Python、Ruby?
https://www.baidu.com/link?url=X0DOPA_6S9J2rhCju9jJbC-Hf4-AioHtr6NdHCTmc1nvd-qzjq7xnhHCJ6iEDYiyc2-gpt1WRAUMJfyqQDTcYa&wd=&eqid=e81b41e70002b4d9000000045aead491
2018-05-03 20:05:06
697
转载 java ee , java se, java me 怎么区分
大概发展路线:JavaSE——>>JavaEE——>>JavaME。JavaSE是Java基础内容学完了可以做一些窗体版程序，电脑桌面应用等。JavaEE需要的JavaSE的基础上再学习一些web框架的东西，可以做一些网站应用。JavaME则是针对移动和嵌入式设备的如：手机，电视，打印机等是用的运行程序。-----------------------------------...
2018-05-02 22:59:13
354
转载 推荐系统的十个关键点
亚马逊的CEO Jeff Bezos曾经说过，他的梦想是“如果我有100万个用户，我就要为他们做100万个亚马逊网站”。智能推荐系统承载的就是这个梦想，即通过数据挖掘技术，为每一个用户实现个性化的推荐结果，让每个用户更便捷的获取信息。为了实现这个梦想，过去十余年间，无数顶尖技术专家和工程师投身于推荐算法和技术的研究与应用中，很多优秀的方法被提出，很多技术难题被攻克。在今天的互联网应用中，越来...
2018-03-30 11:07:43
1127
转载 《推荐系统实践》附上Reference 中的干货 （Paper,Blog等资料的链接）
《推荐系统实践》这只是一本197页的书，但作者附上了诸多好资料，无论是paper, blog文章,wikipedia词条，数据集还是开源项目等 附上资料链接，格式基本按照‘URL+资料名称+出现在书中的页数’，某些链接可能需要你翻过一道‘墙’,某些重复引用的没重复贴上链接了 http://en.wikipedia.org/wiki/Information_overload...
2018-03-30 11:06:45
1328
转载 百分点科技周涛对主流推荐算法评述
啤酒和尿布的购买有关系吗？答案是，跟尿布一起购买最多的商品就是啤酒。据沃尔玛的分析调查，美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。对于隐藏在啤酒和尿布这类表面上风马牛不相及的商品背后的关联，如果不通过数据挖掘的技术，是没有办法靠拍脑袋的办法想出来的。这就是关联规则挖掘中最经典的例子。 什么是关联规则挖掘技术？ 关联规则挖掘的根本目的是寻找商品...
2018-03-30 11:05:56
645
原创 【中国文化系列】传统节日
阅读链接：【中国文化系列】传统节日来源 于 微信公众号：读悟人读悟人，一个左手会定期分享系列干货，右手会做鸡汤的江湖中人！每晚9点，与你相见！
2018-01-30 10:03:01
521
原创 乍见之欢，久处不厌
阅读链接：乍见之欢，久处不厌来源 于 微信公众号：读悟人读悟人，一个左手会定期分享系列干货，右手会做鸡汤的江湖中人！每晚9点，与你相见！
2018-01-30 10:01:38
303
原创 【读悟人】趣谈各省人的性情，精辟
阅读连接：趣谈各省人的性情，精辟来源于微信公众号：读悟人读悟人，一个左手会定期分享系列干货，右手会做鸡汤的江湖中人！每晚9点，与你相见！
2018-01-30 09:58:02
300
原创 【读悟人】微信，拒绝切换，阅读一篇公众号文章和朋友聊天两不误
在你平时使用微信时，有没有遇到这样的困扰： 你正在看着公众号文章，突然，朋友发来一条消息。 此时你想及时回复，该怎么办呢？退出公众号，去聊天，然后再去找那篇文章，反反复复。这样阅读体验是不是大打折扣？如果你也有同样的困扰，这篇文章适合你，请欢快地学习秘籍，成为微信小达人吧。如果你不使用微信，到这里，就可以不用看了。
2018-01-10 09:25:59
976
原创 【读悟人】我们中国的圣诞日——12月26日
也许你只记得阳历12月25日这个外国传进来的日子，这一天你选择逛吃逛吃，陪亲朋好友相聚而谈，可有几个人记得中国的圣诞日呢？
2017-12-26 09:01:27
270
原创 【读悟人】IT人读书、悟到、成长——2017感动整个朋友圈的13张照片，看到第3张就受不了了！
行走于IT界多年，读读书，感悟芳华，健硕自己的文化底蕴，这样的未来也许会有更多想象、更多可能。IT人的读悟殿堂：微信公众号“读悟人”，解放IT人的思维。今日分享：“【读悟人】2017感动整个朋友圈的13张照片，看到第3张就受不了了！”来源 于 微信公众号：读悟人读悟人，一个左手会定期分享系列干货，右手会做鸡汤的江湖中人！每晚9点，与你相见！
2017-12-25 00:15:55
690
转载 Spark踩坑记——Spark Streaming+Kafka
前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式进行归纳总结，之后简单阐述Spark streaming+kafka在舆情项目中的应用，最后将自己
2017-09-26 22:26:23
3093
转载 Spark踩坑记——数据库（Hbase+Mysql）
前言在使用Spark Streaming的过程中对于计算产生结果的进行持久化时，我们往往需要操作数据库，去统计或者改变一些值。最近一个实时消费者处理任务，在使用spark streaming进行实时的数据流处理时，我需要将计算好的数据更新到hbase和mysql中，所以本文对spark操作hbase和mysql的内容进行总结，并且对自己踩到的一些坑进行记录。Spark Stream
2017-09-26 22:25:37
445
转载 Spark踩坑记——初试
Spark简介整体认识Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark在整个大数据系统中处于中间偏上层的地位，如下图，对hadoop起到了补充作用：基本概念Fork/Join框架是Java7提供了的一个用于并行执行任务
2017-09-26 22:24:41
866
转载 值得关注的用户指标
最近最常被问到的就是一些用户的统计指标，无论是决策层还是产品部门，所以这篇文章重点说下用户指标的一些内容。 假设你想用尽量简洁有效的数据了解一个网站或产品的用户情况，你会问哪几个用户数据？其实一个聪明的提问者永远不会问网站的累计用户数有多少，甚至不会问网站的UV是多少，因为这些指标都不能从真正意义上去反映网站的价值和发展状况。 举个简单的例子——网秦，累计用户数应该不下千万，但
2017-09-25 20:36:22
770
转载 每个电商企业都应该分析的9种数据
要想在如今的电商大战中存活下来，每个创业者都需要做好每一件事情，从最基本的搜索引擎优化(SEO)到移动广告。而一些分析工具能够帮助你更好的了解企业的运营情况。哪些数据应该留意?我们咨询了一些成功的电商创业者，他们分享了他们认为最重要的数据，以及这些数据的作用：1. 用户获取成本如果你经营着一个电商企业，但是却不知道每天有多少用户登陆你的网站，登陆用户和完成购买用户之间的比例
2017-09-25 20:35:49
818
转载 大数据的大价值：大数据五大成功案例深度解析
大数据的热潮并未有消褪迹象，相反，包括航空、金融、电商、政府、电信、电力甚至F1赛车等各个行业的企业都在纷纷掘金大数据。可以看出，在推动大数据企业应用方面，真正看到大数据潜在商业价值的企业比大数据技术厂商还要着急。例如IT经理网曾经报道过沃尔玛大数据实验室直接参与到大数据工具的开发和开源工作中。但是在国内，虽然管理学界和财经媒体对大数据推崇备至，认为大数据是信息技术改变商业世界的杀手 应用，但
2017-09-24 17:44:18
72134
3
转载 用户行为分析面面观（之三）-----特征3：传播性
分析需要回答三个问题，用户行为分析也不例外。 前面我们聊了用户行为分析的内容、目的、差异性和流动性。这里再聊聊传播性。 当你想买一个东西的时候，若你是个理性的消费者，你就会考虑7要素：该不该买？给谁买？什么时候买？买什么？在哪买？买多少？怎么选？而在考虑这些要素时，你总是会听到一些声音。这些声音就体现了传播性。 传播性除了影响着用户行为的7要素之外，还影响
2017-09-24 17:27:42
455
转载 用户行为分析面面观（之二）-----特征2：流动性
上篇博文我们聊了两个问题：用户行为的研究内容和用户的差异性。这里我们再聊聊用户的流动性。 如果把用户比作流动的水，那么企业就是蓄水池，新用户从进水管流入，老用户从出水管流出。企业要灌溉庄稼获取收成，就要有一定的蓄水量，就必须开源节流，开拓新用户的同时，留住老用户。不论是开拓新用户还是留住老用户，都是基于用户的流动性。由此产生三个问题 1、用户的流动性有哪些表现？
2017-09-24 17:26:38
994
转载 用户行为分析面面观（之一）-----用户行为研究体系 + 特征1：差异性
你的营销虽林林种种，但却有一个永恒的轴心：用户。 用户行为指挥着营销活动的走向：从新品开发到价格制定；从渠道管理到品牌管理……，营销围绕用户展开，用户行为分析是营销工作的首要环节。用户行为分析需要回答三个问题：² 什么是用户行为（What）？² 为什么分析用户行为（Why）？² 如何分析用户行为(How)？一、什么是用户行为中国有句古话“天地四方为
2017-09-24 17:24:42
2865
转载 大数据分析与应用的8个场景
1、基于客户行为分析的产品推荐 产品推荐的一个重要方面是基于客户交易行为分析的交叉销售。根据客户信息、客户交易历史、客户购买过程的行为轨迹等客户行为数据，以及同一商品其他访问或成交客户的客户行为数据，进行客户行为的相似性分析，为客户推荐产品，包括浏览这一产品的客户还浏览了哪些产品、购买这一产品的客户还购买了哪些产品、预测客户还喜欢哪些产品等。产品推荐是Amazon的发明，它为Amazon
2017-09-24 11:55:50
6189
转载 解决数据质量问题是大数据应用的关键
引自：itongji研究称，整个人类文明所获得的全部数据量，有90%是最近两年内产生的。随着移动互联大潮的席卷，预计通过网路产生的数据量还将呈几何级增长。庞大的数据资源蕴藏着无限的宝藏，过去的一年无论是企业、政府还是媒体，都在谈论大数据。有人说大数据是黄金、是竞争力，然而在这一切谈论的背后却鲜有人关注数据质量这个最根本的问题。普元数据产品总监王轩认为，大数据处理的关键就是解决数
2017-09-23 18:32:13
3953
转载 TensorFlow深度学习
TensorFlow深度学习框架Google不仅是大数据和云计算的领导者，在机器学习和深度学习上也有很好的实践和积累，在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNet等框架相比，TensorFlow在Github上Fork数和Star数都是最多的，而且在图形分类、音频处理、推荐系统和自然语言处理等场景下都有丰富的应
2017-09-22 22:02:19
380
转载 mysql命令行备份数据库
MySQL数据库使用命令行备份|MySQL数据库备份命令例如：数据库地址：127.0.0.1数据库用户名：root数据库密码：pass数据库名称：myweb 备份数据库到D盘跟目录mysqldump -h127.0.0.1 -uroot -ppass myweb > d:/backupfile.sql 备份到当前目录
2017-09-22 21:59:42
1186
转载 SVN命令的使用和功能详解
命令的使用1、检出svn co http://路径(目录或文件的全路径) [本地目录全路径] --username 用户名 --password 密码svn co svn://路径(目录或文件的全路径) [本地目录全路径] --username用户名 --password 密码svn checkout http://路径(目录或文件的全路径) [本地目录全路
2017-09-22 21:51:41
543
原创 Shell脚本中获取本机ip地址的3个方法
这篇文章主要介绍了Shell脚本中获取本机ip地址的3个方法,本文直接给出实现代码,需要的朋友可以参考下方法一：复制代码代码如下:/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"or/sbin/ifcon
2017-09-22 21:48:14
13571
转载 我所理解的大数据个性化推荐
一、写在之前的题外话缘起。想起要写这篇文章，一方面是昨天终于把项亮写的《推荐系统实践》给看完了，另一方面是自己负责的推荐系统项目已经处于一个多版本迭代的阶段了，并且从最近的AB测试效果来看，新提交的算法模型还是有一定的进步的，如今已经把流量全部切换到了新算法中。所以，结合看书的一些思考，以及实际操作的一些感想，总是有一些想要表达、分享的东西，不吐不快啊~~ 哈哈！不
2017-09-15 10:04:14
2483
转载 详解个性化推荐五大最常用算法
推荐系统，是当今互联网背后的无名英雄。我们在某宝首页看见的商品，某条上读到的新闻，甚至在各种地方看见的广告，都有赖于它。昨天，一个名为Stats&Bots的博客详解了构建推荐系统的五种方法。量子位编译如下：现在，许多公司都在用大数据来向用户进行相关推荐，驱动收入增长。推荐算法有很多种，数据科学家需要根据业务的限制和要求选择最好的算法。为了简化这个任务，Sta
2017-09-12 23:41:31
11009
转载 推荐系统之眼
前言这半个月除了工作上的事，一直忙于学习机器学习基础理论，每天背着四五本书上下班，还蛮有读书时的感觉。之前写了一篇文章，叫基于用户画像的实时异步化视频推荐系统，应该说只是完成了一个心脏，整个数据集经过心脏的起博，开始流动起来，并且能够对外提供服务。然而此时的系统依然是瞎的，我们不知道它的效果如何，给我们带来了什么收益，会不会出现糟糕的推荐结果，以及我们有没有途径按照自己的想法去调教它。我们
2017-09-12 23:39:26
284
转载 推荐系统老司机的十条经验
上周Resyschina公众号粉丝数达到10000个，我们承诺给小伙伴们送福利（详见：写在ResysChina公众号一万订阅用户之际），恭喜@IF Young 和 @白大虾的 ...两位同学勇夺留言获赞数状元和榜眼！请两位同学在后台给我们留下收货地址，一本崭新的《深度学习：21天实战Caffe》立即寄出。也非常感谢其他同学的关心和支持，请继续关注Resyschina，我们持续分享原创文章，
2017-09-12 23:38:27
1051
转载 大话推荐系统
摘要: 在大数据的时代，信息泛滥，如何在大量的信息中提出用户想要的，推荐系统便显得极其重要了。在电商，电影，广告方面，推荐系统得到越来越广泛的应用。一 什么是推荐系统个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信
2017-09-12 23:30:47
350
转载 推荐系统基础知识
关于推荐系统的基础整理，是对于部门内部交流培训学习“推荐系统基础”的一个整理，比较基础。And，这基本是技术知识~~1 个性化推荐概述1.1 推荐系统概述首先，需要申明一点的就是推荐系统！=推荐算法。推荐系统是一套完善的推荐机制，包括前期数据的准备、具体推荐的过程(这个过程可能是一套复杂的算法模型，也可能是一个简单的规则，也可能是多种模型的混合结果等等)、后期数据的预测
2017-09-12 23:28:58
782
转载 京东基于Spark的风控系统架构实践和技术细节
1.背景互联网的迅速发展，为电子商务兴起提供了肥沃的土壤。2014年，中国电子商务市场交易规模达到13.4万亿元，同比增长31.4%。其中，B2B电子商务市场交易额达到10万亿元，同比增长21.9%。这一连串高速增长的数字背后，不法分子对互联网资产的觊觎，针对电商行业的恶意行为也愈演愈烈，这其中，最典型的就是黄牛抢单囤货和商家恶意刷单。黄牛囤货让广大正常用户失去了商家给予的优惠让利；而商家
2017-09-11 11:26:52
4391
CentOS linux启动idea.sh报错
2015-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人