shiter编写程序的艺术

大数据生态圈,计算机视觉,机器学习,高端技术的爱好者,话不多说,上代码!!!...

从前有一个程序员,成天写代码,后来,他屎了。。。

每天你都有机会和很多人擦身而过,而你或者对他们一无所知,不过也许有一天他会变成你的朋友或是知己……先来看看老王和他的IT界朋友们吧p.s 经常有人问我,老王,你明明可以穿的挺帅,为什么总是穿的很随意呢?其实道理很简单,我是做技术活的,打扮太好人家会以为我技术不行。从前有一个程序员,成天写代码,后来...

2016-07-14 20:50:36

阅读数:10217

评论数:43

2018 初入IT十年(上)

文章大纲忙碌的一年大公司如何处理一个 bug 魏超 说 他很期待老王我的年终总结,我有点激动的不能自已,而且骤然发现2018年是我踏入IT 的第十个年头了,值得大书特书。于是决定将这篇年中总结分成两个部分,在2018年年底,和2019年年初分别发布 忙碌的一年 今年是非常忙碌的一年,身体...

2018-12-09 02:11:32

阅读数:1341

评论数:7

简单NLP分析套路(3)---- 可视化展现与语料收集整理

文章大纲可视化词云主题模型行业语料库保险行业语料库医学健康类语料库 可视化 词云 主题模型 行业语料库 保险行业语料库 https://github.com/Samurais/insuranceqa-corpus-zh/wiki 医学健康类语料库 中国疾病知识图谱 htt...

2018-12-09 01:44:34

阅读数:655

评论数:2

大数据ETL实践探索(4)---- 搜索神器Elastic search

3.本地文件导入aws elastic search 修改访问策略,设置本地电脑的公网ip,这个经常会变化,每次使用时候需要设置一下 安装anancota https://www.anaconda.com/download/ 初始化环境,win10下打开Anaconda Promp...

2018-12-09 01:33:06

阅读数:647

评论数:0

大数据ETL实践探索(3)---- 大数据ETL利器之pyspark

5.spark dataframe 数据导入Elasticsearch 5.1 dataframe 及环境初始化 初始化, spark 第三方网站下载包:elasticsearch-spark-20_2.11-6.1.1.jar http://spark.apache.org/third-p...

2018-12-09 01:29:03

阅读数:609

评论数:0

大数据ETL实践探索(2)---- python 与aws 交互

文章大纲 本文主要使用python基于oracle和aws 相关组件进行一些基本的数据导入导出实战,oracle使用数据泵impdp进行导入操作,aws使用awscli进行上传下载操作。本地文件上传至aws es,spark dataframe录入ElasticSearch等典型数据ETL功能的...

2018-12-09 01:25:45

阅读数:699

评论数:0

大数据ETL实践探索(1)---- python 与oracle数据库导入导出

文章大纲

2018-12-09 01:21:01

阅读数:657

评论数:0

简单NLP分析套路(2)----分词,词频,命名实体识别与关键词抽取

先说点闲话,google 近期发布了颠覆性的NLP模型–BERT ,大家有空可以了解一下, 这是张俊林博士写的科普文章: https://mp.weixin.qq.com/s/EPEsVzbkOdz9GovrAM-p7g 上一篇文章讲讲解了,如何使用爬虫积累三种类型的语料库,我就针对自己的博...

2018-11-25 23:26:29

阅读数:159

评论数:0

简单NLP分析套路(1)----语料库积累之3种简单爬虫应对大部分网站

目录近期听课的思考博客的爬虫新的改变 近期听课的思考 自然语言处理之AI深度学习顶级实战课程 为什么微软称NLP 为人工智能“皇冠上的明珠”?----认知智能 深度学习在自然语言处理的通用步骤 论文的阅读,最新算法的研究 算法的大概方向的评估训练和确定 训练数据的收集,清洗以及数...

2018-10-28 23:13:24

阅读数:447

评论数:0

结婚是一件人生大事

今年上半年 的任务就是准备婚礼,所以博客论坛基本上都没有什么更新。 这让我想起来,每年一届的csdn 博客之星评选,印象中很多届前几名鸿洋什么的头像都是自己的婚纱照。他们结了婚还能坚持写博客,我很是敬佩 微信邀请函链接: https://www.hunliji.com/p/wedding/H...

2018-09-15 22:32:03

阅读数:364

评论数:6

足球与爱情(上)

作者:魏超 7月15日,2018年俄罗斯世界杯,将迎来结局的最终章。25个比赛日,64场比赛,都将在今晚的巅峰对决后画上句号。四年一次的盛宴太过难得,最后一战的烟花落幕后,迎面而来的将是又一个四年的等待。 ——摘自天下足球官方公众号《世界杯看球也是追星?他们遇见了更好的自己》 ...

2018-08-23 00:34:13

阅读数:186

评论数:0

自然语言处理简介(1)---- 服务梳理与传统汉语分词

1.Nlp技术体系简介 1.1 基础技术 1.2 Nlp 核心技术 1.3 NlP+(高端技术) 2.知名NLP 服务系统简介 2.1汉语分词系统ICTCLAS 2.2 哈工大语言云(Language Technology Platform,LTP) 2.3 Amaz...

2018-07-27 10:25:28

阅读数:271

评论数:0

浅谈pandas,pyspark 的大数据ETL实践经验

作者:王雅宁 转载自: https://blog.csdn.net/insightzen_xian/article/details/80659243 目录 0.序言 1. 数据接入 2. 脏数据的清洗 3. 缺失值的处理 4. 数据质量核查与基本的数据统计 4.1 统一单位 4.2...

2018-06-14 14:53:02

阅读数:703

评论数:0

设限

作者: 一人 我们常说当问题有了清晰的界定之后解决方案就是唯一的,理论上确实如此;但是,现实中由于种种原因,问题的界限并不明显,最终界定的问题含糊不清,造成研发人员在制定解决方案的时候具有很大的灵活性。因此,就有可能存在多个方案看上去不错。而对于不同的解决方案,对应的工作量分配方案存在十分明...

2018-05-25 23:48:57

阅读数:270

评论数:0

aws ec2 配置ftp----使用vsftp

ssh登录 pem 文件下载: 从aws 下载pem 文件 使用ssh登录 ssh -i "xxx.pem" ec2-user@ec2-xxx.cn-north-1.compute.amazonaws.com.cn 设置并安装v...

2018-05-22 00:21:25

阅读数:1174

评论数:0

你是不是傻,怎么不选最好的?

作者: 一人 前些日子听一档节目,嘉宾讲了自己朋友的一个故事,这个朋友称为老甲吧!老甲在九几年在上海交通大学读本科,大学四年一晃很快过去了,要毕业找工作。那个年代流行出国留学,老甲也有此打算。话说,老甲有个老表哥在杭州的电子城给人家撺掇电脑,在卖电脑的过程中,认识了一个创业的小伙子,两人有缘聊得...

2018-05-16 23:03:12

阅读数:612

评论数:2

均值与期望:傻傻分不清?

作者: 一人 前些日子偶然间听到一位新同事问一位做算法的同事:均值是不是期望?老算法回答说:这是不同的概念。说完之后,由于有事就急匆匆的走了。偶听到之后狐疑了一会,打开了搜索引擎。当然,答案是非常明晰且简单的,均值严格来说就是期望。然而在查阅网上相关讨论时发现很多人对它们是分不清的。后来思来想去...

2018-05-04 17:01:07

阅读数:8744

评论数:1

错误使用tf-idf的实例分享

作者:一人 项目中需要计算两个电视节目的相似程度,有人提出将自然语言处理当中的经典TF-IDF(Item frequency-inverse document frequency)引入作为节目的特征,然后使用余弦距离进行相似度计算。由于TF-IDF的应用领域与电视节目的信息表示不符,因此将其应用...

2018-04-12 23:13:09

阅读数:284

评论数:5

使用python对数据库,云平台,oracle,aws,es导入导出实战

本文主要基于oracle和aws 相关组件进行一些基本的数据导入导出实战,oracle使用数据泵impdp进行导入操作,aws使用awscli进行上传下载操作。本地文件上传至aws es,等功能的探索。 1. oracle数据泵 导入导出实战 1.1 数据库创建...

2018-04-03 21:24:35

阅读数:408

评论数:0

IT从业者国企生存指南

不是混不下去了才写生存指南,因为我妈指着新闻联播说,娃呀,你要是不在国企干了,在这上面见你的机会就基本没了,我。。。 特别提醒:含有保密协议的国企,研究所,慎重选择!!! 一旦离职很有可能是完全脱产一年时间来进行脱密 1. 真实的找工作故事 2016年我要毕业于是从2015年底...

2018-03-30 00:02:04

阅读数:1014

评论数:2

提示
确定要删除当前文章?
取消 删除