- 博客(141)
- 收藏
- 关注
RSS订阅转载 java调用含第三方库的py文件
这是一个心酸的历程。py文件如下：这里调用出现的问题主要是第三方包的问题，因为你的py文件里可能含有很多三方库文件，jython的jar包里可能不含有这个，所以这时需要你找到你已有三方库文件的exe，怎么找呢，去你的pycharm里找，不然java会调用计算机默认的python去做，而你可能只是把三方库文件下载到了某一个程序里，如果我这么说你不懂那就去pycharm里找：...
2019-09-26 21:49:00
767
转载 kettle工具字符串替换
原数据：去掉括号内容（包括括号，或者替换为指定内容）即可。世界之大，这个东西，准确的说正则表达式，我搞了小半天！！！转载于:https://www.cnblogs.com/mm20/p/11482789.html...
2019-09-07 20:19:00
5837
转载 java程序：调用百度api进行情感分析
源码：package com.jeson.ceshi;import java.util.HashMap;import org.json.JSONObject;import com.baidu.aip.nlp.AipNlp;public class demo { //设置APPID/AK/SK public static final ...
2019-08-15 11:02:00
736
转载 Jsoup+HttpUnit爬取搜狐新闻
怎么说呢，静态的页面，但我也写了动态的接口支持，方便后续爬取别的新闻网站使用。一个接口，接口有一个抽象方法pullNews用于拉新闻，有一个默认方法用于获取新闻首页：public interface NewsPuller { void pullNews(); // url:即新闻首页url // useHtmlUnit:是否使用htm...
2019-08-09 18:15:00
192
转载 毕设之路00
毕设内容：舆情监测。浪浪荡荡了一个月，也该开始毕设了。最近一直在看论文，研究怎么开始，万事开头难，就是不知道从哪下手开始，一直不开始，一直不会做。首先还是分析了一下题目本身明显的需求，第一步肯定是先进行爬虫。因为做这个系统在量级上肯定使用原来的一些数据库存储，读写速度肯定跟不上，但是目前打算先用一小部分数据进行一个小实验，看看自己想的路子是否行得通吧。因为涉及爬虫的网站不止一个，...
2019-08-05 21:01:00
132
转载 《新浪微博平台架构》---阅读
新浪微博大家都熟悉，今天学习了一下新浪微博的架构，对学习到的内容进行总结：随着应用规模的增长，衍生出的第二代架构对业务功能进行了模块化、服务化和组件化，后台系统从php替换为Java，逐渐形成SOA架构，在很长一段时间支撑了微博平台的业务发展。在此基础上又经过长时间的重构、线上运行、思索与沉淀，平台形成了第三代架构体系。微博平台的第三代技术体系，使用正交分解法建立模型：在水平方向...
2019-06-19 14:25:00
187
转载 《阿里游戏高可用架构设计实践》---阅读
文章总体在讲系统的可用性问题，即如何从技术层面解决这个问题。李运华老师将演讲文章内容提炼出一句精华之语：“把运维的锅让研发去背！”即高可用的系统是设计出来的，不是靠运维保障出来的！可用性的目标是面向整个业务，这个目标就是几分钟来定位问题，几分钟能恢复业务，而且问题发生的频率不能太高，几个月发生一次（其中的“几”要根据我们的业务目标来定）高可用性整体架构可以分为用户层、网络层、服务...
2019-06-18 22:51:00
116
转载 《京东咚咚架构演进》---阅读
大家对咚咚有什么了解？认识他吗？咚咚之于京东相当于旺旺之于淘宝。它们都是服务于买家和卖家的沟通。 自从京东开始为第三方卖家提供入驻平台服务后，咚咚也就随之诞生了。文章总结了咚咚的演进，这里使用简短的话语给出一些总结：1.0 诞生：1.0 的功能十分简单，实现了一个 IM 的基本功能，接入、互通消息和状态。 另外还有客服功能，就是顾客接入咨询时的客服分配，按轮询方式把顾客分配给...
2019-06-17 23:06:00
155
转载 《京东话费充值系统架构演进实践》--阅读
京东话费充值业务线的订单量‘水涨船高 ’，同时对系统的各项运行指标要求更高，老的系统架构不足以支撑新的业务量，需要对系统进行升级。升级方案从以下几个层面进行。1、应用层面引入缓存在应用层和数据库层增加缓存层，热点数据放入缓存。如系统中常用的开关、白名单等数据，读取频率高写入频率低，针对这部分数据就可以在JimDB(Redis)中存储一份，JimDB (Redis)会把高频数据...
2019-06-12 14:42:00
226
转载 实时获取input框内容
源码：<%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%><!DOCTYPE html><html><head> <script type="text/javascript"&...
2019-06-10 16:34:00
226
转载 html:判断两次密码不一致以及阻止提交
参考博客：https://blog.csdn.net/pleasecallmewhy/article/details/8583424https://blog.csdn.net/weixin_40933787/article/details/80110207?utm_source=blogxgwz5转载于:https://www.cnblogs.com/mm20/p/1098942...
2019-06-07 22:39:00
1105
转载 《京东到家库存系统架构设计》---阅读
京东到家这狂app是近几年新出来的一款app，我认识他也是超市购物时 认识的，使用过几次，做的很不错。后来因为上面的东西太贵了，就没再用了。单纯的说软件这个还是做的很不错的。接下来基于这篇文章（https://mp.weixin.qq.com/s?__biz=MzU1MzE2NzIzMg==&mid=2247484675&idx=1&sn=1eaeb575b5...
2019-06-06 14:00:00
164
转载 《数据蜂巢架构演进之路》---阅读
该文章一开始列出各业务系统为使用mysql的业务数据，重复开发出多套数据同步工具，一方面难以管理，另外部分工具性能也偏差。需要一个统一为mysql数据提供同步服务的平台。该平台需支持离线同步，实时订阅，实时同步三大基本功能等。那各功能如何实现？离线同步：可理解为将根据一个sql查询出的数据同步到其它目标存储上；实时订阅：通过实时解析mysql-binlog,将数据的变动封装成事件存于...
2019-06-01 00:43:00
109
转载 SOA案例分析浅谈
SOA是英文 Service-Oriented Architecture 三个首字母单词的缩写，中文译为： 面向服务架构 （ SOA）， SOA架构与 B/S 、 C/S 架构是目前最流行三种 Web服务的基础架构。 SOA架构的特点为：系统集成：站在系统的角度，解决企业系统间的通信问题，把原先散乱、无规划的系统间的网状结构，梳理成规整、可治理的系统间星形结构，...
2019-05-26 23:52:00
552
转载 《阿里B2B技术架构演进详解》----阅读
B2B（Business To Business）是指一个市场的领域的一种，是企业对企业之间的营销关系。先来总结一下阿里B2B共分为三个阶段：第一阶段，建立信息网站提供信息和营销服务平台，让买家更加方便的找到所需购买的产品，并和卖家联系；第二阶段，实现线上化、产品化，支撑业务朝交易、采购平台转型，促进在平台完成业务交易；第三阶段，以数据驱动、结合供应链能力及平台化建设，建立...
2019-05-23 22:49:00
308
转载 《秒杀系统架构分析与实战》---阅读
引用文章里的导语：伴随着电商的蓬勃发展，抢购和秒杀活动作为营销的重要手段，也对电商系统提出了越来越高的要求。当双十一已经从一个简单的噱头演变为可以让全民熬夜万众秒杀的头条事件时，电商系统所面对的高并发压力绝不亚于春节的微信红包系统。每年的双十一大家肯定不陌生，那么每年双十一的服务器大家关心过到底啥样吗，竟然可以支持这么大的数量，支持这么大数量的用户并发数，当然，有时候拼的也是网速。再...
2019-05-16 21:05:00
99
转载 《淘宝数据魔方技术架构解析》----阅读
我们都知道淘宝，也都在使用淘宝。但让我们自己制作一个淘宝app很难，让我们想出关于淘宝的架构更难。最近阅读了《淘宝数据魔方技术架构解析》（https://mp.weixin.qq.com/s?__biz=MzAxNjAzMTQyMA==&mid=2648476063&idx=1&sn=882fb8584b82107d5af191af5b805d0e&chk...
2019-05-16 20:53:00
81
转载 安装QTP之后造成环境变量java冲突问题的解决方案
参考：http://www.cnblogs.com/yhcreak/p/6340125.html转载于:https://www.cnblogs.com/mm20/p/10850010.html
2019-05-11 20:51:00
151
转载 QTP10启动错误：Error creatingUnable to create configuration directory "C:UsersmR?ã? directory entry...
安装完之后打开就一直：百度也不知道为哈子（莫非是中文的用户名？反正我不想重装系统），真是很气人。我就直接创建了一个临时账户，登陆进去，就可以运行了：转载于:https://www.cnblogs.com/mm20/p/10847892.html...
2019-05-11 10:35:00
1176
转载 《阿里如何实现秒级百万TPS？搜索离线大数据平台架构解读》--阅读
离线？在阿里搜索工程体系中我们把搜索引擎、在线算分、SearchPlanner等ms级响应用户请求的服务称之为“在线”服务；与之相对应的，将各种来源数据转换处理后送入搜索引擎等“在线”服务的系统统称为“离线”系统。特点：1. 任务模型上区分全量和增量（1）全量是指将搜索业务数据全部重新处理生成，并传送给在线引擎，一般是每天一次。这么做有两个原因：有业务数据是daily更新；引擎需要全...
2019-05-10 23:22:00
196
转载 insertAdjacentHTML和insertAdjacentText的使用（在指定位置插入代码或者文字）
insertAdjacentText方法与insertAdjacentHTML方法类似，只不过只能插入纯文本，参数相同。转载于:https://www.cnblogs.com/mm20/p/10821838.html
2019-05-06 20:21:00
208
转载 《京东到家订单中心 Elasticsearch 演进历程》----阅读
上篇通过阅读文章对京东到家的架构分析有了初步了解，这次对文章（https://mp.weixin.qq.com/s?__biz=MzU1MzE2NzIzMg==&mid=2247486889&idx=1&sn=06c331d1fecebbd12f4a7ee52a8d25d7&chksm=fbf7bd46cc803450ad3d00c935863021d98...
2019-04-28 14:20:00
92
转载 《微博深度学习平台架构和实践》---阅读
TensorFlow、Caffe和MXNet是三大主流的深度学习开源框架：TensorFlow的优势是社区最活跃，开源算法和模型最丰富；Caffe则是经典的图形领域框架，使用简单，在科研领域占有重要地位；MXNet在分布式性能上表现优异。PaddlePaddle、鲲鹏、Angel则是百度、阿里、腾讯分别推出的分布式计算框架。腾讯深度学习平台DI-X：腾讯深度学习平台DI-X于20...
2019-04-25 14:27:00
105
转载 pycharm+PyQt5+python最新开发环境配置
今天配置了一下pycharm+qt环境，还算顺利，分享一下：首先你得配置好了python开发环境，之后下载pyqt5(我是python3.7)，再安装pyqt5-tools，后面包含qtdesinger。这些都在settings里面进行或者在cmd进行。以上模块都安完，设置扩展工具的参数找到setting->tools->external tools,点击加号...
2019-04-21 19:03:00
60
转载 《豆瓣的基础架构》---阅读
学习了豆瓣的基础架构（https://mp.weixin.qq.com/s?__biz=MzA5NDI5MTgwMg==&mid=200664136&idx=1&sn=3e1949d70fd4ab1d5229492fc7d52f36&scene=21#wechat_redirect），进行如下总结： 豆瓣整个基础架构可以粗略的分为在线和离线两大块。在线...
2019-04-19 14:59:00
98
转载 《从0到100：知乎网站架构变迁史》---阅读
了解到：知乎在规模上是仅次于百度贴吧和豆瓣的中文互联网最大的UGC(用户生成内容)社区。知乎创业三年来，从0开始，到现在已经有了100多台服务器。目前知乎的注册用户超过了1100万，每个月有超过8000万人使用；网站每个月的PV超过2.2亿，差不多每秒钟的动态请求超过2500。近期课堂内容接触了SOA这里主要整理一下关于SOA（面向服务的架构（SOA））的内容：知乎是怎么做的服务化呢...
2019-04-19 14:53:00
142
转载 mysql里的insert
insert不跟where比如 insert into table （name） value（‘******’）where id =1肯定不行的insert 语句 是插入语句，不跟条件的。如果你想要修改数据表中id为1的这一条记录。。那么就是update table set 字段=值 ,字段2=值2 ,... where id=1转载于:https:...
2019-04-02 22:16:00
67
转载 第五周周二练习：实验 5 Spark SQL 编程初级实践
1.题目：源码：import java.util.Propertiesimport org.apache.spark.sql.types._import org.apache.spark.sql.Rowimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.DataFrameRea...
2019-03-26 20:54:00
1729
转载 Java链接Oracle
首先在Navicat里面链接Oracle：连接时老报错：ORA-12505, TNS:listener does not currently know of SID given in connect descript....一开始以为是listener的问题，尝试了很多还是不行。解决步骤如下：这个文件（在你的）host改成你的IP连接代码：pack...
2019-03-19 12:50:00
55
转载 余额宝技术架构及演进------阅读
余额宝开启了划时代的意义，开启了全民理财时代。 阅读这篇关于架构的内容，感想最大还是处于大数据时代。余额宝的数据量之大不是我们能想象到的，文章将余额宝的数据来源分为：业务数据、日志数据和其他数据。现在编程的我们也知道数据要分开处理，余额宝二期架构中也提到这一点：比如对于在线交易，可以采用经过阿里支付宝验证过的 OB，专门用于解决金融级的分布式关系数据...
2019-03-17 18:16:00
533
转载 淘宝网的软件质量属性分析
软件六大质量属性：可用性、可修改性、性能、安全性、可测试性、易用性。现以淘宝网为例，进行描绘质量属性的六个常见属性场景。1.可用性分析：所关注的方面包括系统故障发生的频率、出现故障时会发生什么情况、允许系统有多长是将非正常运行、什么时候可以安全地出现故障、如何防止故障的发生以及发生故障时要求进行哪种通知。 场景:淘宝双十一活动时很多用户同时进行操作，系统出现崩溃...
2019-03-16 15:20:00
429
转载 蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践--------阅读
谈到支付宝，更多的是想到了那个每年几个亿的生意-----双十一！每年“双11”都是一场电商盛会，消费者狂欢日。对技术人员来说，双十一无疑已经成为一场大考，整体架构便是考量的角度之一。 读这篇文章，了解到了支付宝和蚂蚁花呗的架构技术，以及所用架构的特性，还有分布式数据架构三个方面的内容。支付宝所使用的架构分为两类三层，分别是运维平台（IAAS），技术平台...
2019-03-10 22:26:00
343
转载 读架构漫谈&我眼中的架构师
本周是开学的第二周，读了由资深架构师王概凯 Kevin 执笔的系列专栏架构漫谈。初识这门课，懂得也不是很多，读了架构漫谈，有了一些理解。首先作者讲述了缘起，由早期人独立自主生活到后来的集群，作者由这个例子 引出人多力量大，每个人都有自己的独特本领：多人分工配合作为生存的整体，力量就显得强大多了，所以也自然的形成了族群：有些人种田厉害，有些人制作工具厉害，有些地方适合产出粮...
2019-03-10 22:06:00
68
转载 VmWare下Ubuntu扩容问题
出现问题：拉不动，扩展不了分区大小：解决：首先在设置了里面扩大硬盘大小：之后下载Gparted工具：gparted-live-0.8.0-5.iso（下载地址：https://pan.baidu.com/s/1dEkynuT?fid=849334167383758）（1）加载ISO映像：（2）开机进入BIOS由于虚拟机开机画面会一闪而过，所以很难来...
2019-03-04 00:11:00
133
转载 Ubuntu16.04安装flume
参考:https://www.cnblogs.com/soyo/p/7686702.html转载于:https://www.cnblogs.com/mm20/p/10386004.html
2019-02-15 21:20:00
152
转载 使用 SQLContext 可以从现有的 RDD 或数据源创建 DataFrames 报错？
报错情况：解决方法：SQLContext可能需要自己创建。所以，先运行var sqlContext=new org.apache.spark.sql SQLContext(sc)。即可。之后再倒入：转载于:https://www.cnblogs.com/mm20/p/10385685.html...
2019-02-15 20:13:00
68
转载 启动hadoop后jps没有namenode，并且启动报错9000
启动hadoop报错：解决方法：我发现没有9000端口被占用，也不知道9000到哪去了，但是也没有NameNode，于是，直接把NameNode格式化了，再重启HDFS即可。格式化命令：转载于:https://www.cnblogs.com/mm20/p/10375700.html...
2019-02-14 17:14:00
204
转载 hive数据库从文件插入数据得到结果NULL？
今天第一次接触hive这个东东，跟着教程走，当把本地文件的数据装载到新建的hive的表中时，得到的结果是NULL，如图：也不知道为什么，初次接触，对它的这个构造还不是很熟悉，看一下建表语句：解决：问题就出在分隔符上，我的建表语句分隔符是'\t'，'\t’代表的是tab符号，你键盘上的tab键，所以你文件的数据也需要使用tab分割开的。转载于:https://...
2019-02-14 15:02:00
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人