- 博客(46)
- 收藏
- 关注
RSS订阅
原创 基于spark on yarn with gpu的AI模型推理
现在随着各个企业积极的拥抱AI技术，那么其中一项关键的环节就是基于AI技术训练得到的各种模型对具体业务问题进行推理（model infer or prediction）. 针对这个问题， 我想给大家分享一个基于spark on yarn with gpu的方案，能够充分的利用spark的大数据处理能力以及hadoop yarn的gpu调度的能力，轻易的扩展到更大的数据量以及更多的gpu并发支持。...
2020-02-05 10:44:03
3342
原创 基于elasticsearch实现大规模向量检索
什么是向量搜索？向量检索是基于向量之间的距离对已有documents进行相关性排序，和输入document向量距离越小则认为在某个维度上越相似会优先排在前面。document可以是世界万物，比如图片，一段音视频，一段文字，一张人脸等，对于任何种document， 你都可以根据自己的需求对其进行模型训练，基于训练好的模型抽取特征进完成documents相似性检索。已有向量搜索方案的对比以及优势向量检索技术已经出现很久了，相关的技术方案也挺多的，比如：faissMilvus还有很多其他的， 就
2021-10-10 15:47:12
4234
4
原创 hadoop 3.2 安装
hadoop 3.x版本出来已经很久了，之前应为工作需求的原因是安装并使用了spark 3.2.1的版本，现在将之前安装使用过程中遇到的问题总结记录一下。
2020-02-13 14:54:18
254
原创 ES Cluster Set Up
ES集群服务器通用设置def setUpESServerEV(heapSize,versionNum): sudo("echo 'export ES_HEAP_SIZE="+heapSize+"G\n' >> /etc/profile") sudo("echo 'export ES_VERSION="+versionNum+"\n' >> /etc/profile") su
2016-10-09 15:34:25
598
原创 Es Query Related
es mapping update POST /baihe_user_product/_mapping/user{"properties": {"age": {"type": "long"}}}
2016-09-10 09:53:16
348
原创 Solr Cluster Setup
solr clustersolr cluster setup setps - set up jdk environment - download tomcat, zookeeper and solr, then config tomcat to deploy solr cluster. - using solr cloud-scripts to put collection related c
2016-09-10 09:48:27
432
原创 ElasticSearch Tips
elastic node typemaster nodedata nodeclient node (used to execute large aggregation or as program client) 尽量不要直接将master或者data节点暴露给应用程序大内存的client node作为数据分析统计用， 网络性能好的client node作为应用程序交互机器elastic
2016-09-10 09:41:29
328
原创 spring使用笔记
使用spring的过程中会遇到不少的问题，现在一一记录，供以后在遇到同样的问题是回顾和参考：1：在spring的配置文件中，使用schma文件老是出现问题，或者是找不到正确的可以解析对应命名的schma文件；解决方法：你可以直接到http://www.springframework.org/schema/网站，你现实很多其他的属于spring的schema文件；有时候即使你配置正确...
2011-10-22 11:08:05
228
原创 Eclipse一些问题记录
Eclipse使用过程中会出现一些问题，remark一下，将来遇到问题可以回来查找：1：有些Web项目导入Eclipse工作区中会被错误的识别为非web项目，这样的话你就不能在Eclipse中使用jsp容器来启动那个项目，很烦人；解决方法：可以使用Eclipse提供的功能来将那个项目convert to dynamic project,并且还可以自己定义项目src目录以及class变异文件...
2011-10-22 10:36:45
126
原创 趣谈人与软件设计（struts1源码）
struts1源码解析：得益于设计大师的精心设计，我觉得整个struts1框架完全像个人一样，只不过这个人只会简单的识别外界向他请求的命令；他的整个运行机制完全和人的运行机制大同小异，下面我一一介绍这种大同小异：人与外界的交流的大致过程就是这样的：人只要是有生命的，那么他都会对外界对其的影响作出反映；（外界对其的影响可以概括为一切能够影响其状态的东西包括：别人与之交流，看到的一切以及感觉到的一...
2011-03-21 20:32:03
125
原创 我的权限控制系统实现
权限系统设计与实现功能：能够提供客户强大而又灵活的权限控制方案；并且易于与其他系统无缝结合。实现技术：Struts 2.X+Hibernate;实现方法以及关键代码：作为一个要投入使用的系统，它必须有明确的功能；比如：这个系统能够做哪些事情，这些事情是不是每个系统使用者都能够做还是只有特定的系统使用者能够使用？这个系统所能够做的事情可以抽象为某个程序中的某个类的某个方法；判断系...
2010-07-15 16:02:40
153
我的观察者模式
package pattern;import java.util.Map;public interface Observable { public void update(Observe o,Map map); }package pattern;import java.util.Map;public interface Observe {public void add...
2010-07-07 16:59:03
111
Ajax获取数据动态树形节点实现
下面是实现：<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/
2010-04-18 19:10:51
389
面试题记
今天在学校里进行了第二次面试，这次面试官什么都不讲，只讲编程水平，便有下面两道编程题，在平时的话是很简单的，但在当时条件下，做的有点糟糕：过后又把它们做了一便：1:数1，1，2，3，5，8，13，21.。。。。。求出第30个数？要求利用递归实现；方法一：#include "stdio.h"#include "stdlib.h"int Cacluate(int a,int b,int t){ ...
2009-10-13 10:50:06
111
参数传递2
java的设计者对底层的java实现代码做了太多封装，和C语言中的传递方式相比，复杂很多，而且还有很多种不同情况，让我们看一看：大家先看看下面这一种情况：就是如果map中存放的是String,Integer等java内置对象时候，它里面存放的并不是真正的对象引用；但是当存放的是一般对象时，存放的就是类似于C语言中的引用，这时我们修改对象的同时也反映到Map中的，这相当于C语言中的真正的引用传递，传...
2009-09-29 10:20:45
154
Struts 2.1.6使用中的无奈！
最近使用Struts 2.1.6做一个项目，但是在用到它的Ajax功能的时候发现有些异常，有的标签在一个页面中好好的，结果放到另一个页面就工作不正常啦！还有一个标签：<s:select label="请选择资料分类" name="file.cateFileId" list="%{#attr.filecate}" listKey="id" ...
2009-09-22 21:02:18
149
关于程序语言中的参数传递
关于程序语言中的值传递问题很是让人迷惑，在此，更具自己的理解，以C语言和java语言为例来阐述一下参数传递。 c语言中，参数传递方式有有三种：值传递，指针传递以及引用传递。 java语言中有两种：值传递以及引用传递。 java语言中的参数传递和c语言中的参数传递机制不太一样，即使传递方式名称一样可是最后效果还是有区别！ 对于值传递，它们的效果都是一样的，只是java中只...
2009-09-19 10:25:31
164
JQuery!!!
JQuery真是太好啦！利用JQuery提供的各种JS包，完全可以满足AJax技术的需要！然后业务处理方面就用Struts中的Action，现在感觉Struts中提供的Ajax功能简直就是一个累赘！不仅消耗其性能还有不少Bug！ 不禁又想起一句话：360行，行行出状元！ ...
2009-09-19 00:19:01
102
JQuery异步提交乱码问题解决
今天终于将困扰我几天的中文乱码问题解决掉啦！其实很简单！自己太无知啦，尽然不知道UTF-8支持中文！！！JQuery内部函数采用的编码格式都是UTF-8（不知道怎么更改），而我应用程序中的所有编码都是gb2312,这样的话在序列化含有中文表单域的时候肯定会出现中文乱码！ 我将应用程序中的所有编码类型都改成UTF-8后，一切就都正常啦！可以享受JQuery函数封装Ajax技术带来的异步...
2009-09-18 13:06:24
96
异步提交表单多个应用
今天，在完成文章留言功能的时候，想实现用户留言信息异步提交，并在最开始的页面显示留言是否成功与否！经过一个上午的思考以及实践，现有两种方法可以实现其功能。 第一种：利用JQuery的Ajax函数：function load(){ var str=$("#replyform").serialize();$.ajax({ type: "POST", cache: false, ur...
2009-09-13 10:35:33
128
网页设计1
自己制作一个网站真是麻烦！业务代码还好，但是界面设计真是太烦人啊！下面是今天完成的文件下载界面中的一部分：自己感觉还不错啊呵呵！尽管我对自己对网页界面颜色搭配很没有自信！大家看看啊！ 一下是图片和代码： <%@ page contentType="text/html; charset=gb2312" language="java" import="java.sql.*" errorPage=...
2009-09-07 22:44:51
156
DIV+CSS替代传统table
在网上找了好久都没有找到一个完整利用CSS+DIV代替传统table的代码，索性，自己亲自动手最终实现了利用CSS+DIV替代Table的代码，下面就是完整的代码，显示效果很不错！你可以直接运行就可以看到！无标题文档#header{float:left;line-height:14px;font-family:Arial, Helvetica, sans...
2009-09-03 14:22:33
936
struts 2.1.6表达式解析
无论在哪一个Web应用框架中，提供从程序中解析数据到显示页面中的表达式都是很重要的，各个框架也都对其做了很多努力！这里提到的struts2.x系列框架更是如此，提供了功能很强大的标签，可以使得我们方便的再Jsp页面中显示我们需要的信息。 下面就我在暑期做的一个实际项目中用到的具体标签详细的解释。 在struts中把标签分为五类分别是：控制标签，数据存取标签，与表单...
2009-08-24 13:42:55
160
暑期学习总结
时间：2009年8月18号；下午2：45. 时间过得飞快！简直就是弹指瞬间，大学生活就剩下最后一年！最后一个自由的，较为轻松的暑假又即将走到了尽头！ 这个暑假原本是准备在成都找份简直做的，但由于各种原因还是决定回家，带着电脑同时带着有关程序方面的书！决心在即将踏入职场的最后一个暑假好好的在用知识与技能充实一下自己！ 我为自己暑假期间设定的目标是：学习s...
2009-08-24 09:15:01
111
数据结果封装
通常我们需要利用Action返回用户需要的一些信息，当然一些信息可能很简单，但一些信息则会很复杂；现在以一个具体事例来探讨一些复杂信息的封装。 这里所说的封装是针对于Struts标签，是为了Action返回的数据能够更好的，更方便的在用户端得到展示；比如说list,这就是个很好的信息表现方式；因为很多数据标签都为其提供了很好的支持；下面对Action中得到的复杂原始信息封装成最终的L...
2009-08-01 12:36:59
139
MyElipse的使用小结
1：修改提示的快捷键：Window -> Preferences -> General -> Keys 在type filter text栏输入Content , 选中Content Assist , 如果存在快捷键（不是自己习惯的快捷键），点击Remove Binding , 然后在Binding栏输入自己习惯的快捷键，这里我设置了Alt+/ 。２：配置Tomcat服务器:Win...
2009-06-27 12:50:04
129
原创 女人：不爱，请收起你的暧昧
曾经跟一个女性朋友聊天，她对我说：我们都把衣服都擦破了，也不见擦出任何火花，所以我们注定是朋友。我听了以后，浅浅的一笑，直到今日我们都还只是朋友。爱情的基础是在于二个人彼此相互间感情的碰撞，说浅显点就是双方都有感觉。所谓的一见钟情，当变成我‘钟’你而你不‘钟’我的时候，那么‘钟’的一方做的再多，付出的再多也都白搭。所以爱情的基础就是有感觉基础上产生的相互依恋。 那么为什么男人要追女人？...
2009-06-27 10:25:07
152
伤心的时候，你会做什么？
前段时间因为感情问题心理十分难过，以前遇到烦心或沮丧的事情的时候就去篮球场痛快的打一场篮球，直到汗水覆盖整个身体，筋疲力尽，回去再冲个凉水澡美美的睡商一觉；第二天起来的时候又是精神抖擞，开始为新的一天奋斗！这种方法很有效啊希望大家落魄的时候也试一下！ 但这次...
2009-06-27 10:17:29
185
Servlet方面的理解
牛顿有一句话：站在巨人的肩上，我们可以看的更远！这里我修改一下：站在前辈的经验之上，我们这些晚辈前进的更远！因此希望前辈们能够不吝赐教！ 今天第一次去面试，由于急切希望暑假期间能够找到一份软件方面的工作，连期末考试都不放在心上，精心准备了一下JavaWEB开发方面的知识。结果到面试的时候，HR问我的第一个问题就是Servlet的doGet方法与doPost方法有什么区别，当时就有点晕。。。。...
2009-06-26 23:02:19
123
原创 jaava的八大优点
我们为什么要学习java呢？java为何这么的吸引人们的关注？ 难道……对！这就是java的根源： 1. Java是目前使用最为广泛的网络编程语言之一。它具有简单，面向对象，稳定，与平台无关，解释型，多线程，动态等特点。 2.简单 Java 语言简单是指这门语言既易学有好用。不要将简单误解为这门语言很干瘪。你可能很赞同这样的观点 英语要比阿了伯语言容易学。但这并不意味着英语...
2009-06-23 00:27:32
188
原创 开源对象关系映射框架hibernate 11大优势
发布时间：2009.06.19 11:42 来源：blogjava 作者：Werther Hibernate在解决性能问题方面做得非常好。有了它的缓存机制，使用第三方缓存和数据库连接池，就较好的解决的性能问题。但这些还不够，hibernate给了开发者足够的自由，让开发者自己去控制性能问题。 学习了一段时间的ibatis，我觉得hibernate有着ibatis无法替...
2009-06-23 00:02:17
178
异常理解
今天终于把困扰自己一段时间的java异常彻底解决了，心理感到一阵轻松！ java中的异常其实是各种继承了Exception的对象，错误发生后程序就此中断，转而去执行异常对象中的内容。 在java中异常被看做一个类来处理。下面是java中异常类的继承体系： Throwable是所有异常和错误的超类，其有两个子类：Error，Exception-分别表示错误和异常...
2009-06-12 22:00:26
98
DIV+CSS+JavaScript的简单运用
在设计HTML网页时，CSS+ＤＩＶ＋ｊａｖａＳｃｒｉｐｔ这三种技术结合完全可以解决动态网页的界面设计要求，特别是CSS样式，提供了强大的修饰ＤＩＶ布局的属性，只要你能想得到的布局方式，几乎都提供了。 下面自己利用以上技术写了一个比较简单的ＨＴＭＬ界面，并利用JavaScript技术实现了界面的动态化（当你的鼠标移到某个具体的导航栏中时会动态出现相应的信息）。功能很简单只是说明一下以上...
2009-06-11 10:48:08
350
Hibernate缓存机制探讨
缓存是提高硬件和应用程序性能的一个关键因素，在对象映射框架中更是如此。因此，合理使用缓存能够大幅度的提高Hibernate应用程序的性能。 Hibernate提供了两级缓存架构，第一级缓存是Session的缓存，第二级缓存是一个用户决定是否使用的缓存，能够借助与第三方的组件实现。Hibernate则提供了缓存管理接口，应用程序可以自由的对缓存进行管理。 缓存是对或计算代...
2009-06-11 10:23:37
85
原创 有关字符编码
UNICODE,GBK,UTF-8区别(转）2008-11-27 09:44UNICODE,GBK,UTF-8区别 简单来说，unicode，gbk和大五码就是编码的值，而utf-8,uft-16之类就是这 个值的表现形式．而前面那三种编码是一兼容的，同一个汉字，那三个码值是完全不一样的．如＂汉＂的uncode值与gbk就是不一样的，假设uncode 为a040，gbk为b030，而u...
2009-06-06 09:33:42
131
原创 IP地址的有关计算
一、子网掩码的计算TCP/IP网间网技术产生于大型主流机环境中，它能发展到今天的规模是当初的设计者们始料未及的。网间网规模的迅速扩展对IP地址模式的威胁并不是它不能保证主机地址的唯一性，而是会带来两方面的负担：第一，巨大的网络地址管理开销；第二，网关寻径急剧膨胀。其中第二点尤为突出，寻径表的膨胀不仅会降低网关寻径效率（甚至可能使寻径表溢出，从而造成寻径故障），更重要的是将增加内外部路径...
2009-06-06 09:31:31
172
AJAX2
前面谈了用最原始的方式实现AJAX在JSP中，但这里介绍一种Java类jsonrpc，对ＡＪＡＸ的底层实现做了封装，用起来很方便。 下面就举个例子简单的介绍一下这个类的用法。 例如我现在需要实现一个JSP页面中下拉列表内容的异步传输。里面的内容来自数据库中的有关数据。 那么第一步你就需要建立一个类比如ａｊａｘＢｅａｎ，大家要注意了这个类要实现java.io.Serializable...
2009-05-20 16:09:12
163
Hibernate错误解决
问题1：java.lang.IllegalArgumentException: argument type mismatch错误原因：jsp页面中表单标记库类型与form表单的enctype属性值不匹配。解决方法：设置正确的enctype属性值。问题2：double impor 数据库表文件映射文件解决方法：从新将该表从数据库中生成映射文件问题3：org.hibernate.H...
2009-05-19 20:06:34
193
Hibernate应用的困惑（1）
Hibernate级联查询应用的困惑。 比如举个简单的例子：制作一个博客系统，其中有会员，文章分类，对应具体类别的文章。 很明显会员与文章类别之间的映射关系是一对多，文章类别与文章之间的映射关系是一对多。 为了实现他们的查询我可以采用好几种方法： 1：我将他们之间都设置为一对多单向映射而且是立即加载。在会员登陆的同时我就加载所有的级联对象。这是个Action方法，里面返回一个...
2009-05-19 19:24:50
101
原创 大学英语六级高频词汇-词汇
大学英语六级高频词汇-词汇!!!(2008-09-27 00:10:51)标签：杂谈 constrain 11 vt.强迫, 抑制, 拘束obscure 8 adj.暗的, 朦胧的, 模糊的, 晦涩的 vt.使暗, 使不明显comply 6 vi.顺从, 答应, 遵守confirm 6 vt.确定, 批准, 使巩固, 使有效 v.确认, (基督教中)给...行...
2009-05-11 10:23:19
2083
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人