python数据分析大作业-爬虫、建立模型、可视化、结论分析

数据分析主题

本期末作品的数据分析主题是基于尿液特征预测钙的形成，旨在探究哪些尿液特征与钙的形成有关，提供有效参考以便更好地了解人体代谢状态和相关疾病的诊断和治疗。尿液数据分析在医学领域中的应用是当前热门话题之一。通过对尿液样本进行精细化测定和数据分析，可以揭示出许多与健康相关的重要信息。

项目背景

尿液中的草酸钙晶体、比重、pH读数、渗透压、电导率、尿素浓度以及钙浓度等特征与肾结石形成和相关疾病密切相关。通过对这些指标进行综合分析，可以更加全面深入地了解人体代谢情况并且提高相应疾病的预测和诊断准确性。

数据分析的步骤和流程

1.  数据收集与处理
   首先，收集大量包含尿液特征的数据。从文献资源网站中通过爬虫获得。然后，将数据集转换为DataFrame格式，将处理后的DataFrame保存为新的CSV文件，需要对数据进行初步处理，包括箱线图或者直方图异常值处理、缺失值填充等。
2. .特征工程
   将草酸钙晶体存在转化为二元变量

    3. 模型选择与训练
        确定了草酸钙晶体存在的指示剂等特征与钙形成，选择逻辑回归算法来训练模型，在训练前将数据拆分为训练集、测试集，并进行标准化等处理，以避免某些特征对模型影响过大。
     4. 模型评估与优化
训练完模型后用均方误差和决定系数评估其性能，以确定是否符合需求。

    5. 结果分析与可视化
最后，将预测结果进行解释和分析，通过绘制热力图和statsmodels库中的OLS(Ordinary Least Squares)方法进行简单线性回归和多元线性回归，将其可视化展示出来，并从中提取有价值的结论。

数据处理的过程：（每一步附代码和运行结果截图）

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

结果分析：

“导电率”和“ph值”两个个特征与“钙浓度”之间的相关性较弱，“草酸钙晶体”、“渗透压”、“尿液比重”和“尿液浓度”四个特征与“钙浓度”之间存在一定的正相关关系，草酸钙晶体存在的指示剂、尿液浓度两个个特征与钙浓度之间的回归系数显著大于0，并且p值均小于0.05，这两个特征对钙浓度有着显著的正向影响，

课程学习心得：

通过这门课程的学习和大作业的完成，我不仅加深了对 Python数据处理的理解，同时也提高了自己的问题解决能力和团队合作能力。我相信这些技能在未来我的学习、工作以及个人发展中将会发挥重要作用。