qq_36125181的博客

最近在写论文，需要用到各类分词器的效果对比，大家都知道NLPIR是比较有名的，下载链接：NLPIR-ICTCLAS汉语分词系统-首页但是其使用C开发的，使用JAVA的小伙伴会很难受，大家可以直接从使用这个版本：The Java Package of NLPIR-ICTCLAS.其中MAC版本依赖的是这个lib文件（其它系统以来也都在对应目录下）：安装好之后，直接进入Test文件运行，跑之前需要修改路径为绝对路径（MAC系统）：如果遇到了以下ddl、io文件找不到问...

List 流操作总结List 取属性值作为新List元素List<Long> illegalMySqlIds = list.stream() //stream是内存操作 .map(IllegalWord::getId) //取Id作为新List元素 .collect(Collectors.toList()); //成型 //案例2 List<Integer> list1=new ArrayList<Integer>(); list1.add(

淘宝双11数据分析与预测准备工作：软件工具本案例所涉及的系统及软件： Linux系统（CENTOS 7） MySQL Tomcat（7.0.9） Hadoop（3.2.0） Hive（2.3.5） Sqoop（1.4.6） ECharts（4.5.0） Idea（2019.1.3） Spark（2....

Hive优化HiveFetch抓取：在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive 默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不 走mapreduce。（如果设置为none，则所有查询都是用mapreduce）Hive本地模式：大多...

1 概述2 MapReduce体系结构3 MapReduce工作流程4 实例分析：WordCount5 MapReduce的具体应用1.概述在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce？MapReduce相较于传统的并行计算框架有什么优势？ 传统并行计算框...