- 博客(62)
- 收藏
- 关注
RSS订阅原创 Windows上Kafka创建Topic时zookeeper报Unreasonable length = 308375649错误
【代码】Windows上Kafka创建Topic时zookeeper报Unreasonable length = 308375649错误。
2023-12-09 17:28:27
1112
原创 pytorch中的数据处理(torch.utils.data)
作用：通过torch.utils.data.Dataset和torch.utils.data.DataLoader这两个类，使数据的读取变得非常简单，快捷。torch.utils.data.Datasettorch.utils.data.Dataset是代表自定义数据集方法的抽象类，你可以自己定义你的数据类继承这个抽象类，非常简单，只需要定义__len__和__getitem__这两个方法就可以。当我们通过迭代的方式来取得每一个数据class CustomDataset(Dataset):
2021-12-07 11:15:45
535
原创 在Javaweb中出现泰文乱码问题
参考：添加链接描述原因：因为FileWriter无法处理编码，虽然代码中使用format.setEncoding(“utf-8”)，但只是把文件头指定为utf-8，写入的时候没有真正转码。只有使用OutputStream类的方法(此处使用继承类FileOutputStream)才能转码指定的编码。解决方案：将new XMLWriter(new FileWriter(vpath), format)中的FileWriter改为FileOutputStream......
2021-11-30 15:48:19
1020
原创 java中的数据库格式（插入时间、runner获取count（*）值）
java 插入时间格式Date now = new Date(); SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMdd");//可以方便地修改日期格式 String newdata = dateFormat.format(now); String sql = "insert into yd_czzl(zlbh,yqbh,bmdm,czzl,yjsj) VALUES(?,?,?,?,to_date(?,'yyyy-mm-dd
2021-11-09 16:36:29
973
原创 JAVA Excel下载学习
所需要的包：poi-4.0.0.jarpoi-ooxml-4.0.0.jarpoi-ooxml-schemas-4.0.0.jarpoi-scratchpad-4.0.0.jarxmlbeans-5.0.1.jar import org.apache.poi.hssf.usermodel.HSSFWorkbook; import org.apache.poi.xwpf.extractor.XWPFWordExtractor; import org.apache.poi.xwpf.usermo
2021-10-24 20:12:59
194
原创 命名实体识别整体逻辑框架（BERT+BiLSTM+CRF）
数据集标注：标注方式BIOBMESO每个句子以空行区分。数据预处理读取所有句子和标签存为两个个list，并判断是否对齐def load_file(file_path):#读取数据集 contents = open(file_path, encoding='utf-8').readlines() text =[] label = [] texts = [] labels = [] for line in contents:
2021-10-11 10:13:11
3665
1
原创 Java底层原理基础知识总结（未完）
java和c++的区别java不提供指针来直接访问内存，程序内存更加安全Java 的类是单继承的， C++ ⽀持多重继承；虽然 Java 的类不可以多继承，但是接⼝可以多继承。Java 有自动内存管理机制，不需要程序员手动释放内存静态方法和实例方法有何不同1.在外部调用静态方法时，可以使"类名.方法名"，也可以使用"对象名.方法名"。实例方法只有后面这种方式。也就是说，调用静态方法可以无需创建对象。2. 静态方法在访问本类的成员时，只允许访问静态成员（即静态成员变量和静态方法），而不允许
2021-09-27 20:01:40
2901
1
原创 通过Js请求xml中的action
方法1：if(flag>0 && fs>0){ document.getElementById('yqbgForm').action = "<%=basePath%>createReportAction"; var form = document.getElementById("yqbgForm"); form.submit(); }
2021-09-22 22:19:36
329
原创 Mysql数据库数据结构
MySQL索引定义：索引（Index） 是帮助MySQL高效获取数据的数据结构。 提取句子主干， 就可以得到索引的本质： 索引是数据结构。大部分数据库系统及文件系统都采用B-Tree或其变种B+Tree作为索引结构数据结构具体应用场景：数据库是如何做到快速检索的功能。特别有意思的小例子。mysql索引原理的理解和数据结构数据结构B+树（为什么使用B+数）所有数据都存储在磁盘中，读取数据由于IO问题会读取慢，如何加快IO速度IO量：减少IO量*禁止使用slect ，避免增加不.
2021-09-17 13:53:02
4213
原创 爬虫框架2(BeautifulSoup解析网页)
列表数据翻页# -*- coding:utf-8 -*-#@Time : 2020/6/2 0002 15:04#@Author: Yang-Zhenping#@File : signal_spider.pyimport requestsimport jsonfrom bs4 import BeautifulSoupdef get_url(html): title_=[] url_list=[] res=requests.get(html) res.encod
2021-09-16 20:12:52
148
原创 爬虫框架1（模拟浏览器）
模拟浏览器（模拟人工点击浏览器）谷歌插件chromedriver.exe必备包1.seleniumfrom selenium import webdriverimport time,random,datetimeimport osfrom selenium.webdriver.chrome.options import Optionsos.environ['NLS_LANG']='SIMPLIFIED CHINESE_CHINA.UTF8'# 模拟浏览器，使用谷歌浏览器，将chromedr
2021-09-16 20:01:44
260
原创 layui渲染以及回传参数
1. layui.use对layui进行渲染2. +function（）中的EL语句为后台传回的参数注意：lay-filter中的属性值和渲染中的form.on(‘checkbox(gjdm)’, function(data)一一对应，否则就不会动态渲染。 <input type="checkbox" name="gjdmlist" class="gjdm1" value="02" title="老挝" lay-skin="primary" lay-filter="gjdm1" /&g
2021-09-15 18:34:19
2223
原创 讯飞和百度文字识别接口（基于python）
下载baidu-aip接口from aip import AipOcrdef baiduOCR(picfile):#百度api """利用百度api识别文本，并保存提取的文字 picfile: 图片文件名 outfile: 输出文件 """ APP_ID = 'XXX' # 刚才获取的 ID，下同 API_KEY = 'XXXCh0ZmWe6o1' SECRECT_KEY =.
2021-09-15 09:30:52
1755
原创 二叉树学习
二叉树节点结构class Node<V>{ V value; Node left; Node right; }用递归和非递归两种方式实现二叉树的先序、中序、后序遍历二叉树宽度递归序列递归的顺序，先遍历左侧走到头碰到null，就往回左右遍历。先序打印节点（头左右）：1,2,4,5,3,6,7中序（左头右）：4,2,5,1,6,3,7后序（左右头）：4,5,2,6,7,3,1class Node<V>{ V value; Node left
2021-09-14 21:32:51
119
原创 链表学习（试题）
指针指针是通过next指针将每个新的节点连接起来的。指针的属性：值value箭头（当前节点与下一个节点之间的连接）public static class Node{ public int value; public Node next; public Node(int data){ this.value=data; } }哈希表性能都是常数级别java中需要开辟内存空间 HashMap<Integer,String> mapTest=new Has
2021-09-13 09:04:27
159
原创 layui（一些细节问题）
在主页面上面叠加一层页面 top.layer.open()首先通过content去调用Struts2中的action。最后调用完后end函数最后刷新当前主页面。top.layer.open({ type: 2, title: '推送数据选择', maxmin: false, shadeClose: true, //点击遮罩关闭层 shade: 0.4, scrollbar: true, area: ['90%', '98%'], content: 'Smdtbj
2021-09-11 20:31:10
124
原创 Checkbox传值到后台
创建checkbox（radio）<input type="radio" name="yqbh" lay-skin="primary" id="yqxz" value="<s:property value="yqbh" />">按钮确定<button type="button" onclick="yqxzqr('<s:property value="gjdm" />')">确定</button>js判断条件（检查用户是否选择了.
2021-09-11 17:12:07
1130
原创 layui弹出层（确定、取消）
判断是否为空，不为空就弹出确定、取消的弹出层function doSubmitForm() { var gjc = document.getElementById("gjc").value; var yzdm = document.getElementById("yzdm").value; if (gjc.trim() == "") { //空值校验弹提示窗 layer.msg('请填写检测词组',{ .
2021-09-10 09:20:17
3916
原创 词向量模型（word2 vec）
词向量作用词的信息可以转换为向量表示向量表示可以计算词与词之间的相似度（欧式距离、余弦距离等）维度越高，向量表示的信息越多，从而计算结果的可靠性更高。词向量中的数值通过热度图直观比较man与boy之间的词向量有许多相似之处，说明这两个词有一定的关系。模型整体框架Look up embedding随机初始化词向量，然后通过神经网络模型训练。训练数据通过滑动窗口（一般奇数）自动构建训练数据不同架构模型（Cbow、Skipgram）CBOW：通过上下文预测当前词。Skipgram： 通
2021-09-06 20:37:42
430
原创 中文实体识别（采用BERT）
中文实体识别（采用BERT）数据预处理构建标签字典保存为pkl文件方便读取。读取数据字对应标签list序列序列截断操作，不超过最大长度，否则就截断。处理为BERT对应的字符将字符转为id索引长度不够，需要填充0（在bert中，填充的0不会计算self-attention，需要用到mask）输入到BERT模型中（见BERT学习笔记）得到输出结果为[batch_size,leng,dim]对输出向量进行标签预测W维度[dim,标签类别]、b偏差值[11]经过全连接层非线性函数
2021-09-06 16:35:50
340
原创 数据预处理流程（NLP）
真实类别标签构建标签索引字典。构建字符索引字典将输入句子切分为字符级别，然后生成字符级别的索引字典（通过索引找词，通过索引找向量方便）。将输入句子转换为索引补齐和截断，补齐时（补齐的索引不重要，需要设置一下标志符区分，以区分真实字符索引）以上数据如何放到模型中？词嵌入层（embedding编码）对词语进行embedding得到向量输入：[batch_size,seq_length]输出：[batch_size,seq_length,dim]融入其他特征信息到词嵌入层中位置信息：位置
2021-09-05 20:31:35
496
原创 BERT学习笔记（利用到下游任务）
TansformerTransformer优点：并行计算（解决RNN不能并行问题）。self-attention。多语义词(杜鹃（花、鸟）)，在不同语境和上下文表示不一样。Self_attention转换为Q（查询向量）,K（被查询向量）,V（特征信息），计算Q与K的内积每一个词Q会跟整个序列中每一个K做内积计算得分，基于得分分配权重（内积就是计算相似度，垂直就无关系）下图是一个词的向量计算的原理，如果合成为一个矩阵（就是并行计算了），这个就是Transfomer并行计算的作用。
2021-09-05 16:20:33
682
原创 《深度学习与神经网络》（网络优化与正则化）
神经网络存在的问题：优化问题：神经网络模型是一个非凸函数，梯度消失，参数比较多，训练数据也比较大，会导致训练的效率比较低。泛化问题:容易过拟合。优化的难点网络结构多样性：CNN、RNN等低维空间的非凸优化问题主要是存在一些局部最优点，出发点应该是如何初始参数和逃离局部最优点。高维的非凸优化问题主要是逃离鞍点优化算法**小批量梯度下降：**损失函数关于参数θ 的偏导数为更新的梯度gtg_tgt，学习率是更新参数时的一个常量。使用梯度下降来更新参数：θt←θt−1−α
2021-09-03 10:14:18
169
原创 LSTM解决梯度消失问题
为什么rnn循环神经网络会有梯度消失的情况，而lstm可以避免这种情况的发生？使用梯度下降的方式来更新，如果有很多个这样的数相乘的话，就会使得梯度趋近于0。梯度消失导致的问题其实是权重w几乎不更新，这样就很难找到一个合适的权重w,去映射输入值与输出值之间的关系。 - LSTM中神经元之间的连接不仅仅有h, 还有信息C, h在神经元之间的传递会经过sigmoid函数处理，但是C不会。所以与C相关的权重W的更新不会因为神经元链过长而产生梯度消失的现象（指的是，遗忘门，信息增益门的权重w）。但是输出门
2021-09-02 16:06:53
723
原创 《深度学习与神经网络》（注意力机制与外部记忆）
*神经网络存在的问题：*由于优化算法和计算能力的限制，在实践中很难达到通用近似的能力。处理大量的输入信息或者复杂的计算流程时，目前计算机的计算能力依然是限制神经网络发展的瓶颈。解决的一些方法：引入了局部连接、 权重共享以及汇聚操作来简化神经网络结构。大脑神经系统有两个重要机制可以解决信息过载问题： 注意力和记忆机制。定义:注意力，通过自上而下的信息选择机制来过滤掉大量的无关信息，是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。外部记忆，优化神经网络的记忆结构来提高神
2021-09-01 10:37:20
410
原创 训练模型（检查GPU、numpy转换等）
检查GPU是否可用：gpu = torch.cuda.is_available()cuDNN使用非确定性算法，并且可以使用torch.backends.cudnn.enabled = False来进行禁用，设置为使用使用非确定性算法：torch.backends.cudnn.enabled重点理解：定义一个数据类，封装所有预处理的数据，最后将数据类存储为一个pkl的二进制文件，以便下一次直接读取不在需要重新预处理。将numpy的数组复制给torch的方式：self.word_embeddings.w.
2021-08-31 20:33:13
221
原创 Java中的Session
基类中定义好Map session继承基类，该类就存在session这个属性了。Yhqx实体类定义的方法将实例化的对象数据（已经获取到数据库中的参数了）put进session中（相当于一个缓存数据会话）在其他类中实例化对象（不需要new一个对象），通过方法this.session.get()得到session中缓存的数据。...
2021-08-31 15:04:39
200
原创 JS对html中的下拉框选值进行后台赋值 js传多个参数
2.传多个参数需要注意单引号onclick="tssjbj('<s:property value="yqbh" />','<s:property value="gjdm"/>');
2021-08-31 15:01:57
333
原创 《神经网络与深度学习》（2）前馈神经网络
前馈神经网络**激活函数：**为了增强网络的表示能力和学习能力。连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。激活函数类型：Sigmoid 型激活函数、Tanh 函数、修正线性单元（Rectified Linear Unit， ReLU） 、指数线性单元（Exponential Linear
2021-08-30 20:58:33
116
原创 《神经网络与深度学习》（1）
定义和作用人工神经网络不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激励函数中并得到一个新的活性值（兴奋或抑制）。反向传播算法才有效地解决了多层神经网络的学习问题，并成为最为流行的神经网络学习算法。传统机器学习数据预处理、数据预处理、特征转换、函数预测。传统的机器学习模型主要关注于最后一步，即构建预测函数。存在问题：由于特征处理一般都需要人工干预完成，利用人类的经验来选
2021-08-30 20:29:55
141
原创 Linux相关操作指令（MYSQL安装，防火墙端口开启，screen会话）
GPU使用情况：nvidia-smi系统版本：cat /etc/issuepython下载位置 ls -l /usr/local/lib |grep python打开python3.7打开虚环境：source env_torch/bin/activate移动文件夹：mv …/nyzp/xxx …/nyzp/FLAT/xxx复制文件：cp -r XXX/ …/nyzp/查看该文件下的文件：/home/yzp$ ls新建窗口：screen -S name关闭窗口：screen -X -S na
2021-08-29 15:01:08
176
原创 Keras基础模型框架
Kerars是基于tensorflow框架的：符号主义的计算首先定义各种变量，“计算图”，计算图规定了各个变量之间的计算关系。建立好的计算图需要编译已确定其内部细节，然而，此时的计算图还是一个“空壳子”，里面没有任何实际的数据，只有当你把需要运算的输入放进去后，才能在整个模型中形成数据流，从而形成输出值训练是静态框架。导入基本包from keras.models import Model, Input#模型需要的from keras.layers import Dense, Bidirectional
2021-08-24 15:22:19
254
原创 训练数据随机打乱方法
打乱数据（对list处理）RANDOM_SEED = 2019#只要数字一样，得到的随机数也是一样的random_order = list(range(len(train_data)))np.random.seed(RANDOM_SEED)#随机种子，在一个参数上变换值np.random.shuffle(random_order)#将得到的顺序随机打乱train_data = [train_data[i] for i in random_order]分析：train_data是训练集，计算长度
2021-08-24 15:07:26
1396
原创 solr配置（关联数据库，自动从数据库更新数据到solr）
配置mysql的关联需要使用mysql作为数据源，我们需要增加对mysql使用的jar包 server/solr-webapp/webapp/WEB-INF/lib/Data-config.xmlName为对应solr中的EntityQuery为第一次查询数据库的数据，格式为sql语句。数据库自动更新到solr上：deltaImportQuery中的id通过deltaQuery查询和上次更新时间比较，是否有新的数据存入数据库中，图为最后更新时间。Filed为solr中的字
2021-04-01 09:42:41
868
原创 ajax异步请求操作和相关问题
ajax返回不了success，执行不了success，可能是dataType格式的问题当ajax的**dataType:“json”**时struts2中需要这样写才能返回success <result name="success" type="json"> <param name="true">result</param> </result>$.ajax({ url:"sjzladdAction",
2021-03-24 11:38:31
93
原创 Java Web入门struts2传值必看（例子详细）
前台传后台JSP中的值传值方法1:提交Form表单Action类中的属性一定对应着JSP中name属性的（一定要有get、set方法）方法2：？后面是需要传递给后台的值Html中的标签属性Value可以通过EL表达式传入给？后的后台去。后台回传前台Action类Dao类：通过dao中的sql语句对数据库进行查询，得到的值返回给action类中yqxList数据库JspAction类中的属性值yqlxList，通过struts标签中value来获得action类传过来的属
2021-01-17 21:21:54
119
原创 Hibernate
JavaBean的主键类型只能是int类型，因为在映射关系中配置是自动增长的，String类型是不能自动增长的。如果是你设置了String类型，又使用了自动增长，那么就会报出下面的错误！XML文件：<hibernate-mapping package="zhongfucheng.domain"> <!--类名为User，表名也为User--> <class name="User" table="user"> <!--主键映射，属性名为id，列名也为id--&g
2021-01-14 21:44:47
109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人