linux环境mxnet 安装 环境ubuntu 16.041、安装依赖项:sudo update && sudo apt-get install -y build-essential git libatlas-base-dev libopencv-dev2、下载源码:git clone --recursive https://github.com/apache/incubator-mxnet...
【阿里2017】利用分片线性模型实现大规模数据点击率预估 论文Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction==定期更新,获取更多,欢迎star。另外欢迎关注计算广告实验,我会总结一些实现。==一、论文基本描述。CTR预估由于是针对大规模非线性数据的机器学习存在很多的困难。本论文提出了一个新型的模型(LS-PLM)。利用$...
【雅虎2017】一个在线展示广告的CVR预估框架实践 论文A Practical Framework of Conversion Rate Prediction for Online Display Advertising定期更新,获取更多,欢迎star。一、论文基本描述。本论文基于Yahoo! BrightRoll (Oath)雅虎的RTB(视频)买方平台(DSP)。 由于CPA成为主流出价方式,所以转化率预估变成了关键的问...
【hive】hive表很大的时候查询报错问题 线上hive使用环境出现了一个奇怪的问题,跑一段时间就报如下错误:FAILED: SemanticException MetaException(message:Exception thrown when executing query : SELECT A0.PART_NAME,A0.PART_NAME AS NUCORDER0 FROM PARTITIONS A0 LEFT ...
【爬虫】利用Scrapy抓取京东商品、豆瓣电影、技术问题 1.scrapy基本了解 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘, 信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的,也可以应用在获取API所返回的数据(比如Web Services)或者通用的网络爬虫。 Scrapy也能帮你实现高阶的爬虫框架,比如爬取时的网站认证...
centos服务器/dev/xvda1空间占满的解决方法 突然线上Centos的机器磁盘空间占满报警,第一反映是日志文件很大,占用了较多的磁盘空间。于是简单的上去看了一下。但是发现线上不是的地址对应的空间占的并不多。用:df -h 命令看了一下,/dev/xvda1的空间占了99%。马上快满了。可是接下来发现这是根目录对应的地址。用du -sh *|sort -n 查看并不能看到对应的是那个文件引起的。 后来参考链接二提到的问题...
【Java核心】ClassLoader原理及其使用 又把博客的皮肤换了换,看着更加简洁舒心一些。前段的知识只是略懂,拿过来就能用,只是自己的审美和设计水平有限,实在难以弄出自己特别满意的东西,也算是小小的遗憾吧!言归正传,由于最近涉及到Java核心的东西挺多,觉得以前只是一个应用级别,只是考虑项目进度,以及客户需求的实现,自己在技术上的欠账实在是太多,看着园子里和我同龄的人在不同的方面都有了较为深的研究,自己却还似乎处于皮毛阶段...
实用and常用shell命令汇编 很久没写blog了,基本都在用 github和笔记.现在将一些常用的shell并且很使用的shell用法分享一下:分行读取,切割,计数:cat product.txt | while read line ; doecho $line| cut -d"," -f6 ; done | wc -l所有记录输入到文件里边去:cat product.txt | whi...
FASTDFS调研报告(V1.0) 之前的文章,现在放出来,以供参阅。一、fastdfs简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份,节约磁盘空间FastDFS只能通过Client ...
[leetcode]leetcode初体验 这几天把之前的设计模式回顾了一遍,整理了一点以前的项目。同学说,打算刷leetcode题目,也勾起了我的兴趣,索性也刷一些题目,再提高一些内功。刚开始进去,leetcode随机分配的题目,直接也就做了,在后来,按顺序做,现在做到了第五题。大概做了如下题目:1. Two SumGiven an array of integers, find two numbers such th...
一些面试常见问题 有时候在想,对于一个Java程序员来说(也是在找工作的时候,才给自己贴上了标签,其实一直觉得语言都是没有什么大的区别,只是应用场景不同而已,重要的是算法与思想以及业务规则等),是一些基础的知识重要,还是各种框架的掌握与使用,特别是一些开源的框架的使用重要的问题,大家可以讨论此问题……,由于以前公司用的框架都是自己开发与封装的,因此对于很多开源的框架用的较为少,但是,混了这么长时间,大...
[项目]WebService涉及到的部分核心代码 前言: 博客园似乎不太喜欢设计模式的东西,一连写了几篇设计模式的东西,都没什么人气,也许是写的水平有些不够,另外设计模式属于内功,怎们都得修炼一下,否则,设计混乱,不成体系,对于大型项目来说,就会显的特别的小儿科,因此,无论如何,都得继续学习与修炼。今天就写点之前项目涉及到的Webservice处的一些关键设计与部分源码,这里只是描述关键部分,因为涉及到之前公司的一些东西,特别是...
设计模式之简单工厂模式Simple Factory(四创建型) 工厂模式简介。工厂模式专门负责将大量有共同接口的类实例化工厂模式可以动态决定将哪一个类实例化,不必事先知道每次要实例化哪一个类。工厂模式有三种形态:1、简单工厂模式Simple Factory,又称静态工厂方法模式2、工厂方法模式Factory Method,又称多态性工厂模式3、抽象工厂模式Abstract Factory,又称工具箱模式2、...
博客园利用Word发布博客功能[其他博客也可以如此使用] 下面是操作步骤:1.单击"文件"图标,然后单击"新建"。2.选择"博客文章"模板,双击下载安装。3.在"注册博客帐户"对话框中,单击"立即注册"以使用 Word 注册博客帐户。4.在弹出的"新建博客账户"窗口中,选择博客提供商,我们这里选择"其他".5.单击"下一步",弹出"新建账户"窗口,博客文章URL要填写MetaWeblog访问地址【例如我的地址:http:...
设计模式之单例模式Singleton(三创建型) 1.什么事单例模式? 单例模式确保某个类只有一个实例,而且自行实例化并向整个系统提供这个实例。 单例模式有以下特点: 1、单例类只能有一个实例。 2、单例类必须自己创建自己的唯一实例。 3、单例类必须给所有其他对象提供这一实例。 单例模式主要分为:饿汉模式,懒汉模式。 饿汉式和懒汉式区别: 从名字上来说,饿汉和懒汉,饿汉就...
设计模式之代理模式(二结构型) 1.什么是代理模式? 为其他对象提供一种代理,并以控制对这个对象的访问。(Provide asurrogate or placeholderforanotherobject tocontrol accessto it.)而对一个对象进行访问控制的一个原因是为了只有在我们确实需要这个对象时才对它进行创建和初始化。它是给某一个对象提供一个替代者(占位者),使之在client对象和...
设计模式之策略模式(一对象行为型) 1.什么是策略模式。 策略模式是将可变部分从程序中抽象分离成算法接口,在该接口下分别封装一系列算法实现。使得客户端程序独立于算法的改变,而不会出现变动。体现了高内聚和低耦合的特性。 缺点:客户端必须知道和理解所有的策咯,违反最少知识原则的,可以利用享元模式减少对象的数量。 特点:把不变的部分抽象为接口,将变化的部分归结为实现。2.策略模式应用场景举例。 文档—...
Enterprise Achitect使用与类的关系的简单介绍 本文作为Enterprise Achitect初步使用,另外也是类图基本介绍,是设计模式的基础。 类的关系有泛化(Generalization)、实现(Realization)、依赖(Dependency)和关联(Association)。其中关联又分为一般关联关系和聚合关系(Aggregation),合成关系(Composition)。 类图(Class Dia...
2016年1月15日面试某互联网公司总结(二) 首先,感谢大家的浏览,还有朋友给推荐工作,由于本人目前在北京,且年后本人在北京还有部分课程需要上,因此现在不便于远行前往深圳,广州等地。还是非常感谢大家! 今天主要是把之前的工具,做了一些设置与调整,工欲善其事,必先利其器嘛。主要涉及到Eclipse设置,maven使用(之前工作都是使用自有构建工具,现在用开源,开源工具功能大而全,但是,往往也坑比较多),git工具的使用(以前...
2016年1月15日面试某互联网公司总结(一) 本人在传统软件公司工作了三年,在大学又学习了一年多了。现在,又面临着再次找工作。之前谁说的“最好的稳定,是上一份工作失去之后,马上就能找到下一份。”曾有一段时间深以为然,可是真的要找个合适的确实不那么容易啊!本人现希望谋得一份Java中级工程师的职位,望大家能推荐一下。面试的这个公司是同学推荐去的,因此也省了很多事情。主要谈一下技术面试,虽然他们主要开发语言是PHP,但是...