- 博客(32)
- 收藏
- 关注
原创 langchain新版本v0.2文档:tutorials(1)
(2)文档中采用的是chatModel(聊天模型,交互式的对话)作为案例,与之对应的是LLM(大语言模型,文本生成和补全)。接下来会展示二者输出的差异。(1)文档中的案例采用了openai模型,作者学习时采用的是本地部署的qwen。将把文本从英语翻译成另一种语言。langchain表达语言、
2024-07-13 16:08:31
256
原创 win10部署本地大模型langchain+ollama
(3)在系统变量中新建一个OLLAMA_MODELS的变量,位置根据其他盘的存储空间去设置,比如在ollama的文件夹下(D:\Ollama\models)(2)修改环境变量的用户变量,将PATH变量中的C:\Users\XX\AppData\Local\Programs\Ollama修改为步骤(1)的位置。(1)将C:\Users\XX\AppData\Local\Programs\Ollama这个文件夹移动到其他盘(D:\Ollama)下载的模型默然安装在C:\Users\XX\.ollama。
2024-05-03 11:03:13
2318
原创 langchain学习(九)
基于输入的动态路由逻辑,通过上一步的输出选择下一步操作,允许创建非确定性链。路由保证路由间的结构和连贯。有以下两种方法执行路由。
2024-03-02 11:56:00
715
原创 langchain学习(六)
itemgetter函数是Python内置的函数库operator中的一个函数,其功能是返回可调用对象,这个对象会从其参数中提取指定的值。在chain中,runnables模块中的RunnablePassthrough可用于格式化上一个输出,从而匹配下一个输入的需要的格式。在langchain_core.runnables模块下。langchain中的一些操作和控制。以下3个方式是等效的。
2024-02-25 20:27:41
1016
原创 google-gemma本地测试
用户: Write me a poem about the Lantern Festival.本地配置:win11、RAM16G、cpu、python3.8。gemma-2b版本都要14G。测试发现带不太动、中文不太行。
2024-02-24 22:28:21
551
原创 langchain学习(四)
方式1通过RunnableParallel。2、component的输入输出类型表。1、langchain采用了一个叫。Interface官方文档。同时提供以上接口的异步方式。方式2通过batch接口。:流式(实时)返回结果。:通过列表进行多输入。
2024-02-24 10:07:10
856
原创 langchain学习(三)
model.invoke(prompt_value),如果model是chatModel(通过from langchain_openai import ChatOpenAI),输出的是message格式(AIMessage(content="XX")),如果model是LLM(from langchain_openai.llms import OpenAI),输出格式是字符串,可用(from langchain_core.messages import AIMessage)转换为message格式。
2024-02-23 12:18:16
808
原创 langchain学习(二)
LangChain Expression Language:LCEL,langchain表达式语言,从设计之处就支持将原型投入生产而不用修改代码为什么用langchain(而不直接调用LLM),官方文档给出以下的原因1、“get the best possible time-to-first-token (time elapsed until the first chunk of output comes out)”--最低的平均首包延迟。时长少更少的围绕潜在延迟问题或缓慢响应的设计工作。
2024-02-23 11:05:57
450
原创 langchain、openai使用问题记录
-----------------------2024年2月25日更新-----------------------------------------------------------------------------retrieval_chain要求传入prompt中用input,否则报错KeyError: 'input',retrieval_docs = (lambda x: x["input"]) | retriever。解决方案目前是改用旧版的调用方式,会出现警告。
2024-02-19 21:48:04
1934
原创 Learning Apache Spark with Python:regression
在线学习:当新数据点到来时,模型即时地进行更新。常用于那些数据持续流入的应用,如金融市场预测、实时广告投放等。随机梯度下降(单个样本),用以在线学习。小批量梯度下降(部分样本)批量梯度下降(全样本)
2023-08-11 15:08:29
17
原创 Learning Apache Spark with Python:dataExploManipu
Spearman correlation斯皮尔曼秩相关系数:变量间非线性/非正态分布/非数值型,对异常值不太敏感。卡方检验是针对自变量和因变量都是分类数据,pvalue小于0.05显著相关。FeatureHasher:应对高基数特征(分类字段下的唯一值多)卡方检验:推断总体分布与期望分布或理论分布是否有显著差异。1、sparkDataFrame转numpy。CountVectorizer:一般词袋模型。独立样本t检验、配对样本t检验、方差分析。Word2Vec:神经网络模型。
2023-08-10 11:55:53
20
原创 广义数据分析方向总结
虽然不直接参与分析、算法或者开发的工作,但需要了解整个数据流程、相关的技术,同时也要有相关的行业经验经营。重点是挖掘出深层次的知识,与商业分析比较,商业分析的因果大多有直接链路,表象可见的,而数据挖掘则是要找出间接的、不那么明显的。DAMA数据管理体系中的元数据管理、主数据管理、数据质量管理、数据安全管理、……数据标准的制定、数据库设计的规范、数据质量的保障方法、元数据定义、数据统计口径、血缘关系、……概率分布、假设检验、方差分析、回归建模、时间序列预测、……PEST、5W2H、逻辑树、4P、……
2022-08-10 08:33:02
60
原创 keras问题记
错误:File "D:\Anaconda3\envs\actionRecognition1\lib\site-packages\keras_preprocessing\image\utils.py", line 309, in img_to_array x = np.asarray(img, dtype=dtype) File "D:\Anaconda3\envs\actionRecognition1\lib\site-packages\numpy\core\_asarray.py", l...
2021-07-05 17:48:53
183
原创 win10:hadoop、hive、mysql、spark搭建问题记录
公司中的大数据工具一般搭建在linux系统上,个人的电脑之前是用linux虚拟机上搭建,但运行时内存一下子占满,这次在win10上直接搭建环境。搭建教程网上已经有很多,这里就不展开了。觉得有几个关键吧:1、工具间的版本对应;2、环境变量;3、权限;4、配置文件本次的配置如下:win10家庭版、java1.8.0_40、hadoop 2.7.6、mysql 5.7.17、hive-2.1.1、scala-2.11.8、spark2.3.0、python3.6.5、pyspark3.0.0...
2021-04-24 14:40:59
247
原创 keras+lstm+crf命名实体识别code
import pandas as pdfrom keras.preprocessing.sequence import pad_sequencesimport numpy as npfrom keras.layers import Input,Embedding,concatenate,Bidirectional,LSTMfrom keras_contrib.layers import CRFfrom keras import Modeldf=pd.read_table('train.txt.
2021-04-10 22:43:36
535
2
原创 keras+lstm+crf命名实体识别
前阵子用crf++工具做了命名实体识别,这次用keras中的keras_contrib来试下,结合lstm。一、操作系统window10二、版本Python 3.6.5、TensorFlow 2.1.0、Keras 2.3.1三、原始数据处理过程同之前的处理,详见https://blog.csdn.net/m0_49621298/article/details/109896619本次开始的文件内容如下train.txt初步统计 l o, w o全市 n .
2021-04-10 22:40:38
888
2
原创 keras_contrib使用过程的一些问题
1、keras_contrib安装https://github.com/keras-team/keras-contrib下载后将keras_contrib文件夹放到python的\Lib\site-packages里面2、报错The added layer must be an instance of class Layer. Found: <keras_contrib.la要统一导入方式,tensorflow.keras、keras引用混合3、统一用keras导入报错modu
2021-04-09 08:10:28
829
1
原创 python调用crf接口+信息抽取
续https://blog.csdn.net/m0_49621298/article/details/1098966191、crf++的python接口安装报错:ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。import CRFPP File "D:\Anaconda3\lib\site-packages\CRFPP.py", line 26, in <module> _CRFPP = swig_import_hel
2020-12-10 21:55:31
1052
2
原创 用crf++工具进行自定义领域命名实体识别
网上的crf++教程很多,但小白还是花了不少时间去整合教程中的信息才得以应用,记录下本次步骤。一、需求大需求是抽取公开经济报告中的经济指标数据,其中重要一环是识别其中的经济指标专有名词(还有单位~)。二、操作系统window10三、工具python、crf++工具包四、过程4.1 原始文本爬虫把标题(含了年份省份区县信息)和报告内容爬下来,存入txt,如下:4.2 处理本次大需求是抽取指标数据,故先将原始文本按句号和分号"。;"进行分句(先不加上","分句,保
2020-11-21 16:16:17
786
原创 微信公众号文章迁移至其他平台的自动化
一、需求将微信公众号的文章发布到另一平台(以下称A平台)二、思路思路1:打开文章链接后复制文章内容并黏贴至A平台的编辑器思路2:利用A平台的引用链接功能。本次采用思路2解决。三、工具python、uibot四、步骤1、进入公众号的查看历史消息;2、右键-查看源代码(注意:源代码仅有加载的内容部分,需要根据需求将后续的内容加载完成,即下滚)-另存文件;3、采用python的bs4模块解析出需要的内容,本次提取出每篇文章的链接、标题和日期,保存到excel文件;4
2020-11-08 16:30:06
1061
原创 商品评论分析2
续前面的——https://blog.csdn.net/m0_49621298/article/details/107570043二、数据处理1、去掉字段中的换行、空格等2、应用jieba进行分词,这里需要根据不同业务场景设计词库comment=data['评论'].tolist()commentArr=[]#存储评论分词for i in range(len(comment)):# jieba.load_userdict('./file/自定义词库.txt') cut=
2020-10-05 18:24:10
1947
原创 OpenCV 图像处理学习
起手就报错~错误定位在图像显示这句cv2.imshow('image',img)错误如下:cv2.error: OpenCV(4.3.0) C:\projects\opencv-python\opencv\modules\highgui\src\window.cpp:376: error: (-215:Assertion failed) size.width>0 && size.height>0 in function 'cv::imshow'解决:cv2.imread
2020-08-01 10:30:01
189
原创 商品评论分析1
续前面的——https://blog.csdn.net/m0_49621298/article/details/107585855二、数据处理1、去掉字段中的换行、空格等2、应用jieba进行分词,这里需要根据不同业务场景设计词库comment=data['评论'].tolist()commentArr=[]#存储评论分词for i in range(len(comment)):# jieba.load_userdict('./file/自定义词库.txt') cut=
2020-07-27 08:38:20
2158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人