处理csv

最新推荐文章于 2021-08-16 13:50:04 发布
最新推荐文章于 2021-08-16 13:50:04 发布
阅读量481 收藏
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shine4j/article/details/9187351
版权

一)导出

package com.ad.web.servlet.common;

import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.apache.log4j.Logger;
import com.ad.web.rmapi.pojo.ExpUser;


/**
 * 导出csv处理方法
 *
 * @author zxkj
 *
 */
public class ExpAddrCSV
{

    private static final Logger log = Logger.getLogger(ExpAddrCSV.class);
    
    public static String getCVSString(List<ExpUser> lists)
    {
        StringBuffer sbf = new StringBuffer();

        sbf.append("姓名,常用邮件地址,备用邮件地址1,备用邮件地址2,常用手机号码,备用手机号码1,备用手机号码2,固定电话,生日(XXXX-XX-XX),家庭住址,公司名称,备注,所属分组").append("\n");
        
        if(lists!=null)
        {
            for (int i = 0; i < lists.size(); i++)
            {
                ExpUser user = lists.get(i);
                String name="";
                if(user.getFirst_name()!=null && !"".equals(user.getFirst_name()))
                {
                    name=Check.Checkchart(user.getFirst_name());
                }
                
                sbf.append(name).append(",");

                if( user.getEmail()!=null)
                {
                    int e = 3 - user.getEmail().length;
                    if (e > 0)
                    {
                        for (int m = 0; m < user.getEmail().length; m++)
                        {
                            sbf.append(Check.Checkchart(user.getEmail()[m]));
                            sbf.append(",");
                        }
                        for (int n = 0; n < e; n++)
                        {
                            sbf.append(" ");
                            sbf.append(",");
                        }
                    }
                    else
                    {
                        for (int s = 0; s < 3; s++)
                        {
                            
                            sbf.append(Check.Checkchart(user.getEmail()[s]));
                            sbf.append(",");
                        }
                    }
                }
                else
                {
                    for (int y = 0; y < 3; y++)
                    {
                        sbf.append("");
                        sbf.append(",");
                    }
                }
                
            
                
                if(user.getMobile_number()!=null)
                {
                    int mo = 3 - user.getMobile_number().size();
                    if (mo > 0)
                    {
                        for (int d = 0; d < user.getMobile_number().size(); d++)
                        {
                            
                            sbf.append(Check.Checkchart(user.getMobile_number().get(d)));
                            sbf.append(",");

                        }
                        for (int f = 0; f < mo; f++)
                        {
                            sbf.append(" ");
                            sbf.append(",");
                        }
                    }
                    else
                    {
                        for (int g = 0; g < 3; g++)
                        {
                            sbf.append(Check.Checkchart(user.getMobile_number().get(g)));
                            sbf.append(",");
                        }
                    }
                }
                else
                {
                    for (int h = 0; h <3; h++)
                    {
                        sbf.append("");
                        sbf.append(",");
                    }
                }
                
                if(user.getTelephone()!=null && !"".equals(user.getTelephone()))
                {
                    
                    boolean bo=checkTelByZero(user.getTelephone());
                    
                    if(bo)
                    {
                        
                        sbf.append("=\""+Check.Checkchart(user.getTelephone())).append("\",");
                    }
                    else
                    {
                        sbf.append(Check.Checkchart(user.getTelephone())).append(",");
                    }
                    
                    
                }
                else
                {
                    sbf.append("").append(",");
                }
                
                if(user.getBirthday()!=null && !"".equals(user.getBirthday()))
                {
                    if("00-00-00".equals(user.getBirthday().trim()))
                    {
                        sbf.append("").append(",");
                    }
                    else
                    {
                        
                        sbf.append(Check.Checkchart(user.getBirthday())).append(",");
                    }
                }
                else
                {
                    sbf.append("").append(",");
                }
                
                
                if(user.getHome_address()!=null && !"".equals(user.getHome_address()))
                {
                    
                    sbf.append(Check.Checkchart(user.getHome_address())).append(",");
                }
                else
                {
                    sbf.append("").append(",");
                }
                
                if(user.getCompany_name() != null && !"".equals(user.getCompany_name()))
                {
                    
                    sbf.append(Check.Checkchart(user.getCompany_name())).append(",");
                }
                else
                {
                    sbf.append("").append(",");
                }
                
                
                if(user.getMemo() != null && !"".equals(user.getMemo()))
                {
                    
                    sbf.append(Check.Checkchart(user.getMemo())).append(",");
                }
                else
                {
                    sbf.append("").append(",");
                }
                
                
                if(user.getGroupName() != null && !"".equals(user.getGroupName()))
                {
                    
                    sbf.append(Check.Checkchart(user.getGroupName())).append(",");
                }
                else
                {
                    sbf.append("").append(",");
                }
                
                sbf.append("\n");
            }
        }
        
    

        
        return sbf.toString();
        
    }
    
    public static boolean checkTelByZero(String telephone)
    {

        boolean flag = false;
        if ("".equals(telephone) || telephone == null)
        {
            telephone = "";
        }
        try
        {
            Pattern p = Pattern.compile("^0\\d*$");
            Matcher m = p.matcher(telephone);
            flag = m.matches();
        }
        catch (Exception e)
        {
            log.error("retur=failure | telephone="+telephone, e);
        }
        return flag;
    }
    

}

二)导入

package com.ad.web.servlet.common;

import java.io.IOException;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;
import org.apache.log4j.Logger;
import com.ad.web.rmapi.request.AddUerReq;
import com.csvreader.CsvReader;

/**
 * 读取导入文件的人员信息，保存在内存当中
 * @author zxkj
 *
 */
public class ImpAddrCSV
{

    private static final Logger log = Logger.getLogger(ImpAddrCSV.class);
    public static List<AddUerReq> ProcessCvsString(String path)
            throws IOException
    {
        List<AddUerReq> list = new ArrayList<AddUerReq>();
        CsvReader reader = null;
        // 初始化CsvReader并指定列分隔符和字符编码
        try
        {
            reader = new CsvReader(path, ',', Charset.forName("GBK"));
            // 保存表头信息
            List<String> heads = new ArrayList<String>();

            if (reader.readRecord())
            {
                // 读取每行数据以数组形式返回
                String[] str = reader.getValues();
                if (str != null && str.length > 0)
                {
                    for (int i = 0; i < str.length; i++)
                    {
                        heads.add(str[i]);
                    }
                }
            }
            /**
             * 规则说明：现在所循环的每一行的信息和表头对应起来，并将值赋给相关的属性
             */
            StringBuffer s_temp = new StringBuffer();
            int q=0;
            while (reader.readRecord())
            {
                // 读取每行数据以数组形式返回
                String[] str = reader.getValues();
                if (str != null && str.length > 0)
                {
                    AddUerReq user = new AddUerReq();
                    user.setMarkid(q);
                    q++;
                    for (int i = 0; i < str.length && i<heads.size(); i++)
                    {
                        
                        s_temp.delete(0, s_temp.length());
                        s_temp.append(heads.get(i).trim());
                        if ("姓名".equals(s_temp.toString()))
                        {
                            
                            user.setName(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("常用邮件地址".equals(s_temp.toString()))
                        {
                            user.setEmail(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("备用邮件地址1".equals(s_temp.toString()))
                        {
                            user.setEmail1(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("备用邮件地址2".equals(s_temp.toString()))
                        {
                            user.setEmail2(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("常用手机号码".equals(s_temp.toString()))
                        {
                            user.setPhone(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("备用手机号码1".equals(s_temp.toString()))
                        {
                            user.setPhone1(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("备用手机号码2".equals(s_temp.toString()))
                        {
                            user.setPhone2(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("固定电话".equals(s_temp.toString()))
                        {
                            user.setTelephone(Check.FileuploadCheckchart(str[i].replace("=", "").replace("\"", "")));
                        }
                        else if (s_temp.toString().indexOf("生日")!=-1)
                        {
                            user.setBirthday(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("家庭住址".equals(s_temp.toString()))
                        {
                            user.setHome_address(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("公司名称".equals(s_temp.toString()))
                        {
                            user.setCompany(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("备注".equals(s_temp.toString()))
                        {
                            user.setRemark(Check.FileuploadCheckchart(str[i]));
                        }
                        else if ("所属分组".equals(s_temp.toString()))
                        {
                            user.setGroup(Check.FileuploadCheckchart(str[i]));
                        }
                        
                    }

                    list.add(user);
                }
            }

        }
        catch(Exception e)
        {
            log.error("ProcessCvsString is error",e);
            return list;
        }
        finally
        {
            if(reader!=null)
            {
                reader.close();
            }
            
        }
        return list;
    }

    /**
     * cvs 格式表头信息检验
     * 说明:至少有一列为姓名
     */
    public static boolean checkHead(String path) throws IOException
    {
        boolean flag = false;
        try
        {
            CsvReader reader = null;
            // 初始化CsvReader并指定列分隔符和字符编码
            reader = new CsvReader(path, ',', Charset.forName("GBK"));
            // 保存表头信息
            List<String> heads = new ArrayList<String>();

            if (reader.readRecord())
            {
                // 读取每行数据以数组形式返回
                String[] str = reader.getValues();
                if (str != null && str.length > 0)
                {
                    for (int i = 0; i < str.length; i++)
                    {
                        heads.add(str[i]);
                    }
                }
            }
            for (int i = 0; i < heads.size(); i++)
            {
                if ("姓名".equals(heads.get(i)))
                {
                    flag = true;
                    return flag;
                }
            }
        }
        catch(Exception e)
        {
            log.error("checkHead is error",e);
            return flag;
        }
        
        return flag;
    }
}


shine4j
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
csv文件处理
ammmao的博客
05-11 3967
今天先简单的使用一些csv文件处理的一些常用方法，后面使用到numpy、pandas等模块时再补充。 csv文件简介 CSV文件格式的通用标准并不存在，可以参看RFC 4180 逗号分隔值(Comma-Separated Values,CSV,有时也成为了字符分隔,因为分隔字符也可以不是逗号)。 其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列，不含必须像二进制数...
处理CSV（python）
xswl5148的博客
04-13 1万+
CSV是一种常见的数据格式，可以用来存储和交换表格数据。CSV文件由一系列的行组成，每行包含一些用逗号分隔的字段。CSV文件可以用文本编辑器或excel打开和编辑，也可以用编程语言进行处理和分析。Python是一种流行的编程语言，它有许多内置的模块和第三方库，可以方便地读取和写入CSV文件。用csv模块读取和写入CSV文件；用pandas库读取和写入CSV文件；处理CSV文件中的特殊情况，如引号、换行符、编码等。
十分钟学会如何用Python处理CSV文件
热门推荐
程序员仓库
08-16 6万+
十分钟学会如何用Python处理CSV文件 在前几年，如果你和嵌入式开发人员推荐Python，大概会是这样一种场景： A：”诶，老王，你看Python开发这么方便，以后会不会用到嵌入式设备？“ B：“别做梦了，那玩意儿速度贼慢，肯定满足不了性能要求…” 但近几年，随着半导体行业的迅猛发展，嵌入式处理器的性能有了很大幅度的提高。与此同时，Python语言本身也在不断优化。因此，在嵌入式领域引入Python已经成为了必然趋势。 今天，作者就来总结一下使用Python处理物联网行业中一种常见的文件格式：csv文件
MapReduce处理csv
weixin_46429290的博客
07-16 5050
MapReduce处理csv csv是由逗号“，”来分割的文件，在编写Mapper类的时候需要以“，”分割成一个个的数据 查看一下csv数据 以上是为了测试做的数据，要处理的结果就是经过mapreduce再原封不动的出来，因为是测试，所以内容不做任何处理 需求分析 因为MapReduce的输入和输出都是k，v键值对的形式，所以考虑将输出v封装成一个对象，对象属性按照csv文件进行设置 注意：因为封装为了对象使用MapReduce处理，就需要考虑序列化和反序列化，同时还需要考虑输入和输出的类型 介绍MapR
py代码-处理csv文件重复数据
07-14
在Python编程中，处理CSV文件是一项常见的任务，特别是在数据分析、数据清洗或日志处理等领域。CSV（Comma Separated Values）文件是一种通用的数据格式，它使用逗号分隔每个字段，便于存储表格数据。本篇将详细介绍...
CSVExample_处理CSV文件的PLC程序_
09-30
本文将详细介绍如何在TwincAT平台上编写处理CSV文件的PLC程序。 首先，我们需要了解TwincAT。TwincAT是Beckhoff公司开发的一种基于Windows的PLC编程软件，它支持IEC 61131-3标准，提供了多种编程语言，如Ladder ...
VBA批量处理csv或其他excel文件数据
08-25
在“VBA批量处理csv或其他excel文件数据”的场景下，我们可以通过编写VBA宏实现以下功能： 1. **遍历文件夹**：VBA可以使用`MkDir`和`ChDir`函数改变当前工作目录，然后使用`Dir`函数来获取指定目录下的所有文件。...
python处理csv数据的方法
09-22
CSV（Comma-Separated Values，逗号分隔值）是一种常用于存储表格数据的文本文件格式，因此，学会使用Python处理CSV数据对于数据分析师来说是一项基础且重要的技能。 在Python中处理CSV文件通常涉及到几个模块，如...
pandas处理csv文件的方法步骤
12-16
本篇文章将详细解析如何使用 `pandas` 处理 CSV 文件，特别是针对题目中提到的需求，即拼接字段、合并相同记录并计算总金额。 首先，我们需要导入必要的库，包括 `pandas` 和 `numpy`： ```python import pandas ...
交流电压波形的正弦脉冲宽度调制simulink.rar
09-10
交流电压波形的正弦脉冲宽度调制simulink.rar
【独家首发】基于matlab减法平均算法SABO-GMDH锂电池寿命SOC估计【含Matlab源码 7531期】.zip
09-10
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化GMDH时序预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化GMDH时序预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化GMDH时序预测 4.4.3 灰狼算法GWO/狼群算法WPA优化GMDH时序预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化GMDH时序预测 4.4.5 萤火虫算法FA/差分算法DE优化GMDH时序预测 4.4.6 其他优化算法优化GMDH时序预测
【2024首发原创】灰狼优化算法GWO-TCN-LSTM-Multihead-Attention负荷预测Matlab实现.rar
最新发布
09-10
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
正弦脉冲宽度调制(SPWM)逆变器simulink演示.rar
09-10
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
基于ssm的木里风景文化管理平台设计与实现.docx
09-10
基于ssm的木里风景文化管理平台设计与实现.docx
批量管理服务器BMC脚本工具
09-10
这个脚本是一个批处理脚本，用于通过IPMI（Intelligent Platform Management Interface）工具 `ipmitool` 来管理服务器硬件。它提供了一个简单的文本菜单，允许用户选择不同的操作，如查看电源状态、开机、关机、重启、设置启动顺序、查看传感器状态等。下面是脚本的主要部分的解释： 脚本中的每个选项都对应一个 `ipmitool` 命令，这些命令会发送到 `ip_list.txt` 文件中列出的每个IP地址。例如，如果用户选择 "1 查看电源状态"，脚本会使用 `ipmitool power status` 命令来检查每个服务器的电源状态。 请注意，这个脚本需要 `ipmitool` 工具已经安装在系统上，并且 `ip_list.txt` 文件中包含了要管理的服务器的IP地址列表。此外，用户需要有权限通过IPMI来管理这些服务器。
6自由度车辆模型simulink.rar
09-10
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
【独家首发】基于matlab凌日算法TSOA-GMDH风电数据回归预测【含Matlab源码 7530期】.zip
09-10
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化GMDH回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化GMDH回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化GMDH回归预测 4.4.3 灰狼算法GWO/狼群算法WPA优化GMDH回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化GMDH回归预测 4.4.5 萤火虫算法FA/差分算法DE优化GMDH回归预测 4.4.6 其他优化算法优化GMDH回归预测
CNG油改气 ECU-AC300-Unlock解锁软件
09-10
CNG油改气 ECU-AC300-Unlock解锁软件
python 批量处理 csv
07-27
在Python中，批量处理CSV文件通常涉及到读取、操作数据并写入新的CSV文件。Pandas库是Python中非常流行的数据分析工具，它提供了高效的功能来处理这种任务。以下是使用Pandas进行批量CSV处理的基本步骤： 1. 导入库： ```python import pandas as pd ``` 2. 读取CSV文件： ```python # 如果有多个文件，可以用列表存储文件名 files = ['file1.csv', 'file2.csv', 'file3.csv'] data_frames = [pd.read_csv(file) for file in files] ``` 3. 数据预处理或操作（例如清洗、转换、合并等）： ```python def process_data(df): # 这里可以添加各种数据处理函数，如数据清洗、计算新列等 df['new_column'] = df['column1'] + df['column2'] return df processed_dataframes = [process_data(frame) for frame in data_frames] ``` 4. 写入新的CSV文件： ```python for i, processed_df in enumerate(processed_dataframes): output_file = f"output_{i+1}.csv" processed_df.to_csv(output_file, index=False) ``` 在这个例子中，`index=False`表示不保存行索引到CSV文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值