linux非阻塞的socket发送数据出现EAGAIN错误的处理方法

一、非阻塞socket

        非阻塞套接字是指执行此套接字的网络调用时，不管是否执行成功，都立即返回。比如调用recv()函数读取网络缓冲区中数据，不管是否读到数据都立即返回，而不会一直挂在此函数调用上。在实际Windows网络通信软件开发中，异步非阻塞套接字是用的最多的。平常所说的C/S（客户端/服务器）结构的软件就是异步非阻塞模式的。

    int32_t flags = fcntl(socket_fd, F_GETFL, 0);
    fcntl(socket_fd, F_SETFL, flags | O_NONBLOCK);

二、EAGAIN错误
       当应用程序在socket中设置O_NONBLOCK属性后，如果发送缓存被占满，send就会返回EAGAIN或EWOULDBLOCK的错误。在将socket设置O_NONBLOCK属性后，通过socket发送一个100K大小的数据，第一次成功发送了13140数据，之后继续发送并未成功，errno数值为EAGAIN错误。

三、EPOLL模式下EAGAIN错误处理方式
        方法：需要封装socket_send()的函数用来处理这种情况,该函数会尽量将数据写完再返回，返回发送的字节数。在socket_send()内部,当写缓冲已满(send()返回-1,且errno为EAGAIN)，那么会等待后再重试。

    int32_t socket_send(int fd, char* data, int32_t size)
    {
        if (NULL == data || size <= 0)
        {
            return -1;
        }
        int32_t remainded = size;
        int32_t sended = 0;
        char* pszTmp = data;
        while(remainded > 0)
        {
            sended = send(fd, pszTmp, (size_t)remainded, 0);
            if (sended > 0)
            {
                pszTmp += sended;
                remainded -= sended;
            }
            else if (errno == EAGAIN)
            {
                continue;
            }
            else
            {
               break;
            }
        }
        return (size - remainded);
    }

       这种方式并不很完美，当发送大数据的时候，如果客户端一直不调用recv函数接受数据，那么服务器就会卡死在while循环中（持续调用send函数返回EAGAIN错误）。对服务器来说，出现这种情况是致命的，届时服务器的所有功能都不能正常运转。
       如果当send函数出现EAGAIN错误的时候，直到当前socket状态变成可写之前，不应该继续调用send函数发送数据。在发送数据之前，将socket的监听的事件增加EPOLLOUT，在数据全部发送之后，再取消EPOLLOUT的监听。
       socket监听EPOLLOUT代码：

    void epoll_event_mod(int epoll_socket_fd, int fd)
    {
        struct epoll_event epollEvent;
        memset(&epollEvent, 0x0, sizeo(epollEvent));
        epollEvent.data.fd = fd;
        epollEvent.events = EPOLLIN | EPOLLERR | EPOLLHUP | EPOLLOUT;
        epollEvent.data.ptr = NULL;
        epoll_ctl(epoll_socket_fd, EPOLL_CTL_MOD, fd, &m_epoll_event);
    }

       socket缓存结构体代码：

    struct stSocketBuffer
    {
        int32_t m_iHead;
        int32_t m_iTail;
        char     m_szBuffer[max_socket_buffer_size];
    };

       socket待发送数据放入缓存结构代码：

    int32_t push_socket_data(int fd, char* data, int32_t size)
    {
        if (NULL == data || size <= 0)
        {
            return -1;
        }
        stSocketBuffer* pstBuffer = get_socket_buffer(fd);
        if (NULL == pstBuffer)
        {
            return -2;
        }
        if ( size > max_socket_buffer_size + m_iHead - m_iTail)
        {
            return -3;
        }
        if (size + m_iTail > max_socket_buffer_size)
        {
            memcopy(&pstBuffer->m_szBuffer[0], &pstBuffer->m_szBuffer[pstBuffer->m_iHead], pstBuffer->m_iTail  - pstBuffer->m_iHead);
            pstBuffer->m_iTail -= pstBuffer->m_iHead;
            pstBuffer->m_iHead = 0;
        }
        memcpy(&pstBuffer->m_szBuffer[pstBuffer->m_iTail], data, size);
        pstBuffer->m_iTail += size;
        return 0;
    }

将缓存区数据发送出去代码：

    int32_t socket_send(int fd)
    {
        stSocketBuffer* pstBuffer = get_socket_buffer(fd);
        if (NULL == pstBuffer)
        {
            return -1;
        }
     
        int32_t remainded = pstBuffer->m_iTail - pstBuffer->m_iHead;
        int32_t sended = 0;
        char* pszTmp = &pstBuffer->m_szBuffer[pstBuffer->m_iHead];
        int32_t again_count = 0;
        while(remainded > 0 && again_count < 2)
        {
            sended = send(fd, pszTmp, (size_t)remainded, 0);
            if (sended > 0)
            {
                pstBuffer->m_iHead += sended;
                pszTmp += sended;
                remainded -= sended;
            }
            else if (errno == EAGAIN)
            {
                ++ again_count;
                continue;
            }
            else
            {
                break;
            }
        }
        return (size - remainded);
    }

       总结，当需要向socket发送数据时，现将数据压入发送缓存区（stSocketBuffer结构体中），并且将socket加入可写事件监听。当socket触发可写事件（EPOLLOUT）时，调用socket_send函数发送数据，所有数据发送完毕，再清除EPOLLOUT事件。