java
zhiwei0701
这个作者很懒,什么都没留下…
展开
-
java动态代理实现基于HTTP协议的远程调用
背景很多应用在进行多租户改造的时候,需要将原来的单体应用拆分成一个master和多个agent,master部署在公司,agent部署在租户的环境,master通常用于调度转发、业务管理,agent主要是在客户环境中承担具体业务处理,诸如对接大数据组件,承担计算任务等。而多数情况下master和agent之间是跨公网调用,不是处于同一内网环境通过服务调用的。而真正可以处理具体业务是在agent端,所以在跨公网的条件下基于tcp协议如RMI是行不通的,所以要进行restful的改造。为了尽量不影响现有应原创 2020-08-09 20:47:43 · 1056 阅读 · 0 评论 -
java平台理解
java平台理解一次编译 到处运行这是java跨平台的一种特性,并不是说java语言具有这种特性,而是在不同平台上都有可以让java运行的环境而已。程序从源代码到运行这个阶段,经历:编码->编译->运行->调试,而java是在编译阶段体现了跨平台的特点。大致可概括为将.java文件编译为与平台无关的字节码.class文件,.class文件即为到处可运行的文件,然后jav...原创 2018-12-04 00:30:30 · 237 阅读 · 0 评论 -
webmagic scheduler源码分析
webmagic scheduler源码分析项目中使用webmagic作为爬虫爬取框架,需要实现2个功能:对于一些未爬取到的URL,需要做重试机制,重复爬取,设置爬取次数,直至爬取到网页内容或者达到重试次数。用户点击停止,则停止对剩余URL的爬取。这二个功能的添加都是对scheduler模块进行改造,webmagic的scheduler模块负责管理待抓取的URL,以及一些去重的工作。W...原创 2019-07-14 17:28:13 · 461 阅读 · 0 评论 -
总结爬虫相关(以电商淘宝为例)
总结爬虫相关(以电商淘宝为例)首先对于爬虫,我一直持有的想法就是你会写代码,你就会写爬虫(当然以我现在接触到的以及使用过的语言而言使用过的编程语言有python和java,此处就特指java和python)。掌握了一门语言的语法,会写几个案例,可以跑起来,一些简单的逻辑实现代码可以看得懂,那么我就觉得你可以实现一个简单的爬虫了。前公司一直有写业务的同学问我如何写爬虫,甚至有工作四年的同学来问,我...原创 2019-06-30 17:51:11 · 7474 阅读 · 4 评论