大数据
文章平均质量分 54
生一先生
这个作者很懒,什么都没留下…
展开
-
计算机研究生就业方向之去大厂做大数据
10,去互联网公司做销售和营销(这块如果是好学校的研究生,去了大企业,好好干,前途无量,我见过的发大财的都是做销售的,尤其是大公司的,好学校的研究生做销售,资产上亿的我都见过,我只恨我自己当年学生气太重没去做)7,去银行,证券,保险等金融类央企,国企做技术开发(这块真的不错,需要学历好,或者家里有人,我的一个师弟在二线城市的中国银行技术开发去年拿了48万比互联网舒服,稳定,钱还多,不信有图为证)然后你要懂一点机器学习,深度学习的事情,因为那帮算法工程师需要你提供数据,你要能听懂他们的需求,原创 2022-12-12 20:39:21 · 783 阅读 · 0 评论 -
大专(高职)到底值不值得读
深度长文,干货较多我们现在的本科升学率大概是每年参加考试人数的三分一,以2017年的数据作为参考,当年参加高考的人数大概是920万人,本科录取人数大概是302万人,可以算出本科录取率是三分之一。而2017年参加高考的出生总人口大概在1900万人,以出生总人口作为基数,本科录取率在15%左右。所以同龄人中能上本科的毕竟是少数,上不了本科的才是大多数(85%的人),对于上不了本科的学...原创 2020-03-16 21:29:49 · 1260 阅读 · 0 评论 -
idea导入项目出现Unable to import maven project: See logs for details提示
摘要: 从git上面check多工程项目后,maven不能正常下载相应的依赖,最后查询国外网站,找出错误原因。按照此步骤,可以自动配置好每个工程的module。1删除项目根目录下.idea文件夹关闭idea工具,重新打开选择File->New->Project from the existing source ,选择刚才的项目根目,下一步:打勾此选项一直点next,...转载 2018-11-28 15:30:52 · 3070 阅读 · 0 评论 -
自序-----------互联网黑产揭秘
刚进互联网行业的时候就听前辈们开玩笑说,想发财做黑产,黑产又赚钱又轻松。但是却没有见到周围有人真的辞职去做黑产的,既然真的像他们说的那么赚钱,为啥不去做呢,可见黑产赚钱也没有前辈们说的那么轻松和简单。一直到后来由于自己的工作是反作弊和风控,对黑产也渐渐了解,加上和APP运营人员的熟悉,渐渐对黑产有更多的了解。互联网黑产,是伴随互联网的诞生而诞生的,早在雅虎上市的时候就有黑产了,后来随着互联网行业的...原创 2018-07-13 15:48:08 · 2929 阅读 · 1 评论 -
8年时间,深耕个人品牌,他已经身家几千万(转载自猎头老王)
上一篇讲到应对抢人大战的核心应对方法是建立个人品牌,很多朋友给我们悄悄留言,向小薪咨询如何塑造个人品牌。小薪先给大家讲个真实的案例:小薪认识的一位大咖,出身非常普通,但是他非常重视自己的个人品牌,积累了8年多电商操盘经验,出版与社交电商有关的书籍畅销全网,举办千人微商年会,现在是知名自媒体联盟联合创始人,基本上提起社交电商,业界的人都知道他,并纷纷付费加入他的社群组织寻找机会和资源。现在他的个人身...转载 2018-06-27 09:02:08 · 815 阅读 · 2 评论 -
第01课:中文自然语言处理的完整流程
第一步:获取语料语料,即语言材料。语料是语言学研究的内容。语料是构成语料库的基本单元。所以,人们简单地用文本作为替代,并把文本中的上下文关系作为现实世界中语言的上下文关系的替代品。我们把一个文本集合称为语料库(Corpus),当有几个这样的文本集合的时候,我们称之为语料库集合(Corpora)。(定义来源:百度百科)按语料来源,我们将语料分为以下两种:1.已有语料很多业务部门、公司等组织随着业务发...原创 2018-06-26 13:44:07 · 15502 阅读 · 5 评论 -
风控,反欺诈方向的几个职位要求整理
数据科学家25k-50k职位描述:岗位职责1、负责理解业务需求,并利用机器学习、数据挖掘的方法发现并提取新的维度特征;2、负责深入业务,对核心数据设计和实施机器学习算法,并利用对数据的理解支撑客户的数据决策;3、紧跟机器学习相关技术的业界发展,研究创新方法以突破常规算法的瓶颈;和其它数据科学家和业界专家共同对反欺诈领域的问题进行研究和探讨;任职要求1、计算机科学,数学或统计相关硕士以上学位;2年以...原创 2018-05-29 15:40:00 · 5137 阅读 · 0 评论 -
一些比较有用的github案例
个人对话机器人:https://github.com/juliali/WeatherBot 反欺诈场景:https://github.com/DannyHoo/droolshttps://github.com/pythonnewbird/Anti-Fraudhttps://github.com/fanzhihai/Financial-fraud-predictionhttps://github.c...原创 2018-05-29 15:33:58 · 1714 阅读 · 0 评论 -
Incorrect table definition; there can be only one TIMESTAMP column with CURRENT_TIMESTAMP in DEFAULT
导出数据库表语句如下:mysqldump -u'ifly_ssp'-p'imsp_vcloud' ifly_cpcc_ad_basic T_MEDIA_INFO>/root/database/T_MEDIA_INFO.sqlmysqldump -u'ifly_ssp' -p'imsp_vcloud' ifly_cpcc_ad_basic T_OTHER_PLAT>/root/datab...原创 2018-05-29 11:05:20 · 9174 阅读 · 1 评论 -
zeepline最简单的使用
zeepline由于建表简单,可视化方便,经常被用来替代hivezeepline有个特点其中一个notebook引入了某个包,那么就算做全部引入了建表,input输入的是数据存放路径用这样的格式写sql...原创 2018-05-28 20:26:51 · 3342 阅读 · 0 评论 -
Usage of API documented as @since 1.7+ less... (Ctrl+F1) This inspection finds all usages of method
程序中出现了这样的错误,查看依赖,没有缺少,单独引用也没有问题,但是最后一段代码在idea中就是错误,后来发现是打包编译设置的问题,在maven中加入了一段build代码就可以了。<build> <plugins> <plugin> <groupId>org.apache.maven.plugins&l...原创 2018-04-23 14:31:48 · 2280 阅读 · 0 评论 -
高效的大数据开发环境搭建及实战
内容大纲: 一、开发环境准备1. IDE开发工具选择及安装2. Java SDK版本选择及安装3. Spark开发语言 版本选择及安装4. 下载Spark的安装程序5. 安装Maven6. 安装sbt7. IDE的插件选择、安装及配置 二、从零开始创建第一个Spark程序 - HelloSpark1. 创建Scala工程2. 添加Spark依赖的jar包3. 修改工程pom文件,并更新依赖包4....原创 2018-04-05 17:03:44 · 8642 阅读 · 0 评论 -
搭建sparkmllib开发环境的一些坑-----
sparkmlib是spark用于机器学习开发的包,实现了在分布式的大数据集群上做机器学习的功能,是目前对分布式支持较好的机器学习框架,除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j,但sparkmllib天生和hadoop无缝结合,不过sparkmllib的短板是无法支持深度学习,而tensorflow和deeplearning是支持深度学习的。好了废话不...原创 2018-04-02 18:44:50 · 5527 阅读 · 3 评论 -
Spark内存管理及优化
Spark作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理,有助于更好地开发Spark应用程序和进行性能调优。如果提交的时候内存分配过大则占用资源,内存分配过小就容易出现内存溢出和fullGC的问题,报如下异常:java heap out of memory FetchFailedExceptionFileNotFoundExcep...原创 2018-03-30 14:50:26 · 1548 阅读 · 0 评论