项目实践
文章平均质量分 92
haixwang
。。。。。。
展开
-
王勇DRP项目重写
出于对所学的jsp和Servlet知识进行巩固,学习了王勇的DRP资源分销管理项目。但是资源比较老,有不少东西现在已经落后或者不合适了,故进行了一些修改。 项目:HTML+JSP+Servlet+Oracle以下是部分更新内容界面优化jsp页面中的HTML内容几乎重写,原内容很多不符合HTMl5规范,代码中有更加详细的说明。将语义元素与呈现元素分开原创 2017-08-15 00:09:18 · 1014 阅读 · 0 评论 -
Elasticsearch数据全量导入HBase,scroll的正确使用姿势,HBase数据到Hive
1、代码相关文章: elasticsearch数据到hive、es-hadoop6.3.0 Hbase Java API简单实践(附源代码解释) 按照惯例,先上代码 (代码还有很多可以优化的地方,待正式工作了,有了更海量的需要处理的数据,更复杂的应用场景,我再回来更新此文。)只贴出Es用scroll方式读取数据以及批量写入HBase的核心代码,其他工具类、方法,比如es、HBase...原创 2018-08-16 22:31:57 · 2854 阅读 · 1 评论 -
第一次爬虫记录,爬取商品基础数据以及图片
需求爬取商品价格、销量、评论、收藏量、款式等基本数据以及详情图。遇见的主要问题以及解决方式对于一个从来没写过爬虫的人来说很多地方都是很困惑的。而且公司要求两三天就得出结果并用于生产,再加上自己轻微的代码洁癖,综合起来还是有些压力的。 所以也没时间去学习一些爬虫框架或者道友们的一些实现方案,回头来看,都是些常规操作。遇见的第一个问题:最开始抽取所有的商品URL,要爬取的网站的数...原创 2018-07-12 00:14:56 · 4026 阅读 · 0 评论 -
SPA登录实现+JWT生成Token+cookie携带Token+代码
理论知识TokenJWT干货如何存储token,前后端如何用token进行“交流”总的思路之文字说明总的思路之流程图说明完整代码之token注意SPA单页面登录其他代码参考——————————————————-理论知识前言:本人承诺,本文是在查阅了大量资料并且实践了之后的用心写作。Token理论参考:SSO单点登录使用to...原创 2018-03-27 08:31:00 · 8939 阅读 · 1 评论 -
虚拟机\物理机上5台服务器cloudrea manager5.12大数据平台搭建(持续更新)
前言操作步骤VirtualBox5.2.8CentOS6.9节点网络配置ssh配置cloudera以及JDK以及Mysql版本选择【必读】其他注意事项JDK安装mysql5.7安装防火墙正题CDH集群安装其他虚拟机扩容TODO参考前言 全文共1.4w字(仅安装整个大数据平台,关于cdh manager管理,会单独记录)。相比...原创 2018-03-31 22:35:07 · 2274 阅读 · 0 评论 -
MyBatis的逆向工程生成代码及代码使用
主要过程新建项目,按照下载的jar包中的配置文件配置【本文使用1.3.5】命令行生成代码使用11.1 解压后目录,mybatis-generator-core-1.3.5 1.2 IDEA创建一个maven项目,pom关键部分如下: <dependencies> <dependency> <g...原创 2018-02-19 13:47:56 · 831 阅读 · 0 评论 -
Spark中DataFrame版的相关系数计算——DataFrameStatFunctions,Spark线性回归pipline
很多人还在实用RDD的相关API,为跟上“未来”,咱讨论下DataFrame版的相关API。> 2. 对数组中的数处理为绝对值之后复制一份,对副本进行排序(NaN之前已经被处理为0),每次取复制的数组中的第一个值(前提是大于阈值0.8);在二维数组中找到对应的两个变量记为indexX和indexY> 3. 计算indexX和其他所有变量的相关系数的绝对值之和,记为sumX;同理,对indexY,记为sumY。比较原创 2018-01-03 20:51:25 · 5766 阅读 · 0 评论 -
HIVE自定义UDF进行数据清理——IDEA
IDEA自定义UDF并使用- 创建maven项目- pomxml文件- java代码- 导出为jar- 导出带依赖的jar包- 在Hive命令行中执行- 参考IDEA自定义UDF并使用GitHub源码地址- 创建maven项目创建一个maven项目,添加hadoop-client和hive-exec的maven依赖相关依赖查询:http://mvnrepository.com/-原创 2017-10-20 11:32:28 · 2749 阅读 · 0 评论 -
Hbase Java API简单实践(附源代码解释)
详细代码及链接注释标注1标注2标注3标注4运行截图报错及解决过程参考资源详细代码及链接 maven依赖:hbase-client,slf4j-api,slf4j-nop(不需要hbase-server包) resource中加入hdfs-site.xml配置文件(不需要什么core-site.xml和hdfs-site.xml) resource中放置log4j.p原创 2017-10-29 11:31:46 · 1267 阅读 · 0 评论 -
Hive实战:将xml文件处理为txt文件,并用Hive进行微博数据分析
一 -xml文件处理文件简述xml处理代码遇见的问题及解决过程i -nbsp之类的字符无法解析ii -0xc0x11之类的字符无法解析iii -javalangOutOfMemoryError Java heap space二 -写到txtfile工具代码io版三 -Nio版的代码四 -两种版本的效率对比五 -建表加载数据加载数据报错要加载的数据格式与目标表的格式不同查询原创 2017-10-21 14:17:08 · 2547 阅读 · 0 评论 -
python3版本的flask环境,使用Python 和 Flask实现restful服务
错误做法1. 在搭建py3的flask虚拟环境时,virtualenv --no-site-packages py3flask报错:virtualenv ImportError: cannot import name _remove_dead_weakref加上了参数–no-site-packages,这样,已经安装到系统Python环境中的所有第三方包都不会复制过来,这样,我们就得到了一...原创 2018-11-13 16:12:07 · 3294 阅读 · 0 评论