- 博客(32)
- 收藏
- 关注
RSS订阅原创 langchain新版本v0.2文档：tutorials（1）
（2）文档中采用的是chatModel（聊天模型，交互式的对话）作为案例，与之对应的是LLM（大语言模型，文本生成和补全）。接下来会展示二者输出的差异。（1）文档中的案例采用了openai模型，作者学习时采用的是本地部署的qwen。将把文本从英语翻译成另一种语言。langchain表达语言、
2024-07-13 16:08:31
228
原创 win10部署本地大模型langchain+ollama
（3）在系统变量中新建一个OLLAMA_MODELS的变量，位置根据其他盘的存储空间去设置，比如在ollama的文件夹下（D:\Ollama\models）（2）修改环境变量的用户变量，将PATH变量中的C:\Users\XX\AppData\Local\Programs\Ollama修改为步骤（1）的位置。（1）将C:\Users\XX\AppData\Local\Programs\Ollama这个文件夹移动到其他盘（D:\Ollama）下载的模型默然安装在C:\Users\XX\.ollama。
2024-05-03 11:03:13
2012
原创 langchain学习（九）
基于输入的动态路由逻辑，通过上一步的输出选择下一步操作，允许创建非确定性链。路由保证路由间的结构和连贯。有以下两种方法执行路由。
2024-03-02 11:56:00
703
原创 langchain学习（六）
itemgetter函数是Python内置的函数库operator中的一个函数，其功能是返回可调用对象，这个对象会从其参数中提取指定的值。在chain中，runnables模块中的RunnablePassthrough可用于格式化上一个输出，从而匹配下一个输入的需要的格式。在langchain_core.runnables模块下。langchain中的一些操作和控制。以下3个方式是等效的。
2024-02-25 20:27:41
884
原创 google-gemma本地测试
用户： Write me a poem about the Lantern Festival.本地配置：win11、RAM16G、cpu、python3.8。gemma-2b版本都要14G。测试发现带不太动、中文不太行。
2024-02-24 22:28:21
539
原创 langchain学习（四）
方式1通过RunnableParallel。2、component的输入输出类型表。1、langchain采用了一个叫。Interface官方文档。同时提供以上接口的异步方式。方式2通过batch接口。：流式（实时）返回结果。：通过列表进行多输入。
2024-02-24 10:07:10
783
原创 langchain学习（三）
model.invoke(prompt_value)，如果model是chatModel（通过from langchain_openai import ChatOpenAI），输出的是message格式（AIMessage(content="XX")），如果model是LLM（from langchain_openai.llms import OpenAI），输出格式是字符串，可用（from langchain_core.messages import AIMessage）转换为message格式。
2024-02-23 12:18:16
765
原创 langchain学习（二）
LangChain Expression Language：LCEL，langchain表达式语言，从设计之处就支持将原型投入生产而不用修改代码为什么用langchain（而不直接调用LLM），官方文档给出以下的原因1、“get the best possible time-to-first-token (time elapsed until the first chunk of output comes out)”--最低的平均首包延迟。时长少更少的围绕潜在延迟问题或缓慢响应的设计工作。
2024-02-23 11:05:57
437
原创 langchain、openai使用问题记录
-----------------------2024年2月25日更新-----------------------------------------------------------------------------retrieval_chain要求传入prompt中用input,否则报错KeyError: 'input'，retrieval_docs = (lambda x: x["input"]) | retriever。解决方案目前是改用旧版的调用方式，会出现警告。
2024-02-19 21:48:04
1704
原创 Learning Apache Spark with Python:regression
在线学习：当新数据点到来时，模型即时地进行更新。常用于那些数据持续流入的应用，如金融市场预测、实时广告投放等。随机梯度下降（单个样本），用以在线学习。小批量梯度下降（部分样本）批量梯度下降（全样本）
2023-08-11 15:08:29
14
原创 Learning Apache Spark with Python:dataExploManipu
Spearman correlation斯皮尔曼秩相关系数：变量间非线性/非正态分布/非数值型，对异常值不太敏感。卡方检验是针对自变量和因变量都是分类数据，pvalue小于0.05显著相关。FeatureHasher：应对高基数特征（分类字段下的唯一值多）卡方检验：推断总体分布与期望分布或理论分布是否有显著差异。1、sparkDataFrame转numpy。CountVectorizer：一般词袋模型。独立样本t检验、配对样本t检验、方差分析。Word2Vec：神经网络模型。
2023-08-10 11:55:53
15
原创 广义数据分析方向总结
虽然不直接参与分析、算法或者开发的工作，但需要了解整个数据流程、相关的技术，同时也要有相关的行业经验经营。重点是挖掘出深层次的知识，与商业分析比较，商业分析的因果大多有直接链路，表象可见的，而数据挖掘则是要找出间接的、不那么明显的。DAMA数据管理体系中的元数据管理、主数据管理、数据质量管理、数据安全管理、……数据标准的制定、数据库设计的规范、数据质量的保障方法、元数据定义、数据统计口径、血缘关系、……概率分布、假设检验、方差分析、回归建模、时间序列预测、……PEST、5W2H、逻辑树、4P、……
2022-08-10 08:33:02
57
原创 keras问题记
错误：File "D:\Anaconda3\envs\actionRecognition1\lib\site-packages\keras_preprocessing\image\utils.py", line 309, in img_to_array x = np.asarray(img, dtype=dtype) File "D:\Anaconda3\envs\actionRecognition1\lib\site-packages\numpy\core\_asarray.py", l...
2021-07-05 17:48:53
178
原创 win10：hadoop、hive、mysql、spark搭建问题记录
公司中的大数据工具一般搭建在linux系统上，个人的电脑之前是用linux虚拟机上搭建，但运行时内存一下子占满，这次在win10上直接搭建环境。搭建教程网上已经有很多，这里就不展开了。觉得有几个关键吧：1、工具间的版本对应；2、环境变量；3、权限；4、配置文件本次的配置如下：win10家庭版、java1.8.0_40、hadoop 2.7.6、mysql 5.7.17、hive-2.1.1、scala-2.11.8、spark2.3.0、python3.6.5、pyspark3.0.0...
2021-04-24 14:40:59
243
原创 keras+lstm+crf命名实体识别code
import pandas as pdfrom keras.preprocessing.sequence import pad_sequencesimport numpy as npfrom keras.layers import Input,Embedding,concatenate,Bidirectional,LSTMfrom keras_contrib.layers import CRFfrom keras import Modeldf=pd.read_table('train.txt.
2021-04-10 22:43:36
531
2
原创 keras+lstm+crf命名实体识别
前阵子用crf++工具做了命名实体识别，这次用keras中的keras_contrib来试下，结合lstm。一、操作系统window10二、版本Python 3.6.5、TensorFlow 2.1.0、Keras 2.3.1三、原始数据处理过程同之前的处理，详见https://blog.csdn.net/m0_49621298/article/details/109896619本次开始的文件内容如下train.txt初步统计 l o, w o全市 n .
2021-04-10 22:40:38
886
2
原创 keras_contrib使用过程的一些问题
1、keras_contrib安装https://github.com/keras-team/keras-contrib下载后将keras_contrib文件夹放到python的\Lib\site-packages里面2、报错The added layer must be an instance of class Layer. Found: <keras_contrib.la要统一导入方式，tensorflow.keras、keras引用混合3、统一用keras导入报错modu
2021-04-09 08:10:28
819
1
原创 python调用crf接口+信息抽取
续https://blog.csdn.net/m0_49621298/article/details/1098966191、crf++的python接口安装报错：ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。import CRFPP File "D:\Anaconda3\lib\site-packages\CRFPP.py", line 26, in <module> _CRFPP = swig_import_hel
2020-12-10 21:55:31
1048
2
原创 用crf++工具进行自定义领域命名实体识别
网上的crf++教程很多，但小白还是花了不少时间去整合教程中的信息才得以应用，记录下本次步骤。一、需求大需求是抽取公开经济报告中的经济指标数据，其中重要一环是识别其中的经济指标专有名词（还有单位~）。二、操作系统window10三、工具python、crf++工具包四、过程4.1 原始文本爬虫把标题（含了年份省份区县信息）和报告内容爬下来，存入txt，如下：4.2 处理本次大需求是抽取指标数据，故先将原始文本按句号和分号"。；"进行分句（先不加上"，"分句，保
2020-11-21 16:16:17
779
原创 微信公众号文章迁移至其他平台的自动化
一、需求将微信公众号的文章发布到另一平台（以下称A平台）二、思路思路1：打开文章链接后复制文章内容并黏贴至A平台的编辑器思路2：利用A平台的引用链接功能。本次采用思路2解决。三、工具python、uibot四、步骤1、进入公众号的查看历史消息；2、右键-查看源代码（注意：源代码仅有加载的内容部分，需要根据需求将后续的内容加载完成，即下滚）-另存文件；3、采用python的bs4模块解析出需要的内容，本次提取出每篇文章的链接、标题和日期，保存到excel文件；4
2020-11-08 16:30:06
1036
原创 商品评论分析2
续前面的——https://blog.csdn.net/m0_49621298/article/details/107570043二、数据处理1、去掉字段中的换行、空格等2、应用jieba进行分词，这里需要根据不同业务场景设计词库comment=data['评论'].tolist()commentArr=[]#存储评论分词for i in range(len(comment)):# jieba.load_userdict('./file/自定义词库.txt') cut=
2020-10-05 18:24:10
1942
原创 OpenCV 图像处理学习
起手就报错~错误定位在图像显示这句cv2.imshow('image',img)错误如下：cv2.error: OpenCV(4.3.0) C:\projects\opencv-python\opencv\modules\highgui\src\window.cpp:376: error: (-215:Assertion failed) size.width>0 && size.height>0 in function 'cv::imshow'解决：cv2.imread
2020-08-01 10:30:01
187
原创 商品评论分析1
续前面的——https://blog.csdn.net/m0_49621298/article/details/107585855二、数据处理1、去掉字段中的换行、空格等2、应用jieba进行分词，这里需要根据不同业务场景设计词库comment=data['评论'].tolist()commentArr=[]#存储评论分词for i in range(len(comment)):# jieba.load_userdict('./file/自定义词库.txt') cut=
2020-07-27 08:38:20
2151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人