简历

Javaweb项目

一、SSM框架整合

1、在web.xml中通过上下文初始化参数(context-param)的contextConfigLocation属性来指定spring配置文件(xml文件)的路径；

2、监听器ContextLoaderListener检测到servletContext生成，使用spring配置文件来生成中间层、数据层的bean；

3、spring配置文件生成数据源、事务管理器、整合mybatis(通过sqlSessionFactory)、通过@Service注解生成service的bean、配置定时任务和触发器；

4、在web.xml中生成dispatcherServlet这个前端控制器servlet，并通过此servlet的初始化参数contextConfigLocation来指定springMvc配置文件(xml文件)路径，来加载web组件bean，包括controller、拦截器、视图解析器。

项目整体上分为三层，Web层、业务逻辑层、数据层。Web层使用Mvc模式，由controller、interceptor、annotation三个packet组成，业务层由service、timeTask两个packet组成，数据层使用Mybatis。

还有一个工具包packet，有会话管理包（修改session的状态）、请求响应状态管理包（修改响应状态码、响应中加入会话信息等）、常量包（sessionKey静态类、错误类型key静态类、网络制式静态类、用户角色静态类）

二、数据库设计

有18张数据表，分成账户类、平台类、数据分析类。采用三大范式设计原则，1、原子性。所有的字段都是不可分的。2、非主属性必须完全依赖主键，而不是依赖主键的一部分。3、属性和主键直接相关。

点击打开链接

点击打开链接

三、ajax和jackson框架

使用@ResponseBody注解，且导入Jackson包到项目的classpath中，则springMvc返回结果自动转换成json数据。

点击打开链接

4、拦截器的设计

a、登录拦截器

拦截所有请求，通过正则匹配释放不拦截的路径。如果会话session中有用户，则释放请求；否则重定向到登录界面。

b、设置会话拦截器

从用户请求中获取请求参数，并加入会话session中。这样切换页面时，依然能保持页面选项不变。

c、认证拦截器

判断用户是否有权调用某方法or访问某页面。首先在需要访问权限的方法上面加注解，然后判断此URL请求的Controller处理方法上是否有注解，若有注解则判断此用户是否有权限访问；若没注解则判断是页面请求还是方法请求。若是页面请求，则从数据库获取此用户可访问页面URL的正则表达式进行匹配，判断是否跳转页面；若不是页面，则通过用户请求。

点击打开链接，点击打开链接

大数据平台项目

搭建了6个节点的CDH平台，存储了2.5TB的数据。数据是结构化的，字段的意思大致是什么人在什么时间在某个地方上使用4g上发送了什么URL，产生了多少流量。

我的工作：

1、解析URL搜索，获取用户的百度业务搜索词条，主要是根据标签挑出了用户百度业务的数据。然后用spark sql根据HOST字段对数据进行聚合，统计每个host的记录数，然后排序。挑选记录条数多的host，通过上网查找确定业务类型，如百度知道、百度搜索、百度图片、百度贴吧、百度文库等。然后观察每一类host对应的url链接，总结规律，确定搜索词条对应URL的位置，然后编写spark程序，利用正则匹配解析出关键词编码字符，解码后获取用户使用百度业务时的搜索关键词。解析出来的数据占百度业务数据的20%左右。

2、确定基站周围的POI信息。通过爬虫爬取某POI网站上兰州市的POI信息，总共11万条左右。为了避免IP封杀，a、设置等待时间2s；b、建立代理IP池，随机选择代理IP来爬去；c、设置请求头伪装成浏览器的请求。总共花了一天半来爬取。

3、我主要利用这个数据，进行用户的移动性分析。需要建立用户的移动轨迹。首先我把原始一行一行记录的结构化数据转换成json数据，每个人对应一个json对象，包含两个键userId和traj轨迹；其中traj的值是数组，数组的每个条目是键值对，包括记录的起始、终止时间、位置、业务等key。

参考链接